Engenheiro(a) de Dados SR (São Paulo)
Home OfficeCLT 3 candidatoshoje
Sobre a Vaga
Salário a Combinar
E-mail: rh***@***.br — Quando disponibilizado pela empresa, o contato poderá ser visualizado por assinantes Premium.
Whats: (xx)***xxx — Quando disponibilizado pela empresa, o contato poderá ser visualizado por assinantes Premium.
1 Vaga
Estamos em busca de um(a) Engenheiro(a) de Dados para atuar na evolução e sustentação de processos de ingestão de dados no Data Lake. Este profissional será responsável na orquestração de todo o ciclo de vida dos nossos dados, desde a extração em sistemas complexos até a disponibilização otimizada para os nossos times.
Requisitos
- · Construir e escalar pipelines: Desenvolver e dar manutenção em fluxos de ingestão de dados ponta a ponta (ETL/ELT).
- · Desbravar integrações: Consumir dados de múltiplas APIs REST, lidando com autenticação, paginação, rate limits e batch operations.
- · Domar o Big Data: Utilizar PySpark para processar e transformar grandes volumes de dados de forma distribuída.
- · Modelar na nuvem: Escrever queries SQL complexas no AWS Athena para extração, cruzamento e disponibilização de dados diretamente no Data Lake (S3).
- · Automatizar com código: Utilizar Python e a biblioteca Boto3 para orquestrar serviços da AWS, aplicando paralelismo para otimizar rotinas pesadas.
- · Garantir a segurança: Gerenciar credenciais e acessos de forma segura utilizando o AWS Secrets Manager.
- · Forte domínio de Python voltado para engenharia de dados (transformação, manipulação de arquivos e paralelismo).
- · Experiência sólida no ecossistema AWS Cloud (foco em S3, Athena, Secrets Manager e automações com Boto3 ou similares).
- · Experiência robusta com consumo de APIs REST.
- · Domínio de SQL, com habilidade para escrever e otimizar queries complexas.
- · Experiência prática com PySpark para processamento de dados em larga escala.
- · Conhecimento em Shell Script para automações sistêmicas.
- · Conhecimento em boas práticas de versionamento de código com Git.
- · Experiência em criação de esteiras de CI/CD (ex: Jenkins) aplicadas a dados.
- · Vivência com Infraestrutura como Código (IaC) utilizando Terraform
Nível: Outro
Contratação CLT.
Benefícios
Remuneração: Salário Compatível Mercado e Benefícios.
Regime de trabalho:
Home office: Brasil
Híbrido: São Paulo
Vagas semelhantes para você
Selecionadas com base na tecnologia, modalidade, nível e localização desta oportunidade.