Engenheiro(a) de Dados Especialista Databricks AWS
K2
Home OfficeSenior 8 candidatoshoje
Sobre a Vaga
Salário a Combinar
E-mail: rh***@***.br — Quando disponibilizado pela empresa, o contato poderá ser visualizado por assinantes Premium.
3 Vagas
Responsabilidades
Desenvolver e manter pipelines ETL/ELT de alta performance utilizando Databricks.
- Estruturar arquiteturas Lakehouse seguindo o modelo Medallion (Bronze e Silver).
- Implementar processos de ingestão de dados escaláveis e resilientes.
- Automatizar pipelines, monitoramento e tratamento de falhas.
- Garantir governança técnica, qualidade dos dados e segurança dos ambientes.
- Otimizar processamento e performance utilizando Apache Spark.
- Atuar como referência técnica em arquitetura de dados e melhores práticas.
Requisitos
- Experiência sólida com Databricks e Apache Spark.
- Conhecimentos avançados em Python, PySpark e SQL.
Experiência prática em AWS, especialmente
- Amazon S3
- IAM
- Segurança e otimização de custos
- Experiência na construção de pipelines ETL/ELT.
- Conhecimento em práticas de CI/CD para pipelines de dados.
- Vivência em arquitetura Lakehouse.
- Experiência com Data Lake/Lakehouse em larga escala.
- Conhecimento em DataOps e automação.
- Vivência no setor farmacêutico.
- Experiência com monitoramento e observabilidade de pipelines.
- Perfil Procurado
- Forte capacidade analítica.
- Perfil hands-on e proativo.
- Facilidade para atuar em ambientes colaborativos.
- Foco em qualidade, performance e escalabilidade.
- Boa comunicação e autonomia técnica.
Databricks
Nível: Senior
Benefícios
Não informado.
Vagas semelhantes para você
Selecionadas com base na tecnologia, modalidade, nível e localização desta oportunidade.