Sobre a Vaga
Estamos em busca de profissionais com sólida experiência em Engenharia de Dados no ecossistema Azure, com foco em Databricks, Python, Delta Lake e arquitetura Medallion, para atuar em projetos estratégicos de dados e analytics.
Responsabilidades
Desenvolver e manter pipelines de dados escaláveis e resilientes utilizando o ecossistema Azure;
Implementar modelagem de dados com a arquitetura Medallion (Bronze, Silver e Gold) no Databricks;
- Orquestrar fluxos complexos de ingestão e transformação de dados;
Garantir governança, qualidade e segurança dos dados, aplicando políticas de compliance e proteção em nuvem;
Colaborar com equipes de arquitetura, pesquisa e desenvolvimento para otimizar a entrega de dados para relatórios e análises de negócio.
Requisitos
Experiência sólida em Databricks, incluindo
- Desenvolvimento com PySpark;
- Gerenciamento de tabelas com Delta Lake;
- Implementação da arquitetura Medallion e Delta Tables.
Conhecimento avançado no ecossistema Azure, incluindo
- Azure Databricks;
- Azure Data Factory (orquestração e transformação);
- Azure Data Lake Storage (ADLS).
- Proficiência em Python (PySpark) e SQL (T-SQL / Spark SQL);
- Experiência com Big Data, processamento distribuído, tuning de performance e otimização de pipelines de alta volumetria;
- Conhecimento em governança e segurança em cloud, com foco em qualidade de dados, compliance e controle de acesso;
- Experiência com Databricks Workflows para orquestração de pipelines;
- Vivência com CI/CD e cultura DevOps, utilizando ferramentas como GitHub para versionamento, automação de testes e deploy contínuo.
Benefícios
- Vale alimentação
- Plano de saúde
- Plano odontológico
- Parcerias com instituições educacionais Anhanguera
- Data Science Academy
- Wizard e Faculminas)
- Parceria com academia
- Convênio SESC
Vagas semelhantes para você
Selecionadas com base na tecnologia, modalidade, nível e localização desta oportunidade.