Engenheiro de Dados
Agradecemos seu interesse! No momento, não estamos aceitando novas candidaturas para esta vaga, mas temos várias outras oportunidades esperando por você.
Sobre a Vaga
Número de vagas: 2
Responsabilidades
Construir e operar os pipelines de extração Progress → Bronze (Python/ pyodbc), incluindo tratamento de tipos e encoding do OpenEdge e estratégia incremental D-1 para as tabelas de grande volume.
Modelar e implementar as transformações Silver/Gold em dbt Core, com testes, documentação e linhagem — respeitando as responsabilidades de cada camada já definidas no projeto.
Orquestrar cargas no Data Factory e liderar tecnicamente a evolução futura para Airflow.
- Integrar fontes externas ao lake: base AFV de campo (via API), Banco FIC ("lake v0", 66 mil clientes geolocalizados) e Dados Abertos do CNPJ da Receita Federal (enriquecimento cadastral).
Garantir qualidade de dados nas regras já institucionalizadas — ex.: CNPJ sempre como string com zfill(14), deduplicação cadastral, chaves de conciliação com o ERP.
Otimizar custo e performance no Synapse Serverless (particionamento, estatísticas, pruning de Parquet) dentro do teto orçamentário.
Documentar tudo em padrão institucional (SharePoint de Decisões, repositórios com contexto versionado) e fazer transferência ativa de conhecimento — incluindo pair programming com o engenheiro júnior.
Requisitos
- Experiência em engenharia de dados em ambiente Azure.
- Python forte para ETL em produção (pandas/pyarrow, conexões ODBC, logging, tratamento de erro, reprocessamento idempotente).
- SQL avançado e experiência real com engines serverless/lakehouse (Synapse Serverless, Athena, Trino ou equivalente) sobre Parquet.
- dbt (Core ou Cloud) em produção: modelagem em camadas, testes, docs.
- Orquestração: Data Factory, Airflow ou equivalente.
- Experiência extraindo dados de ERPs ou bancos legados (qualquer um — Progress, Oracle EBS, SQL Server/Protheus, DB2 etc.): a habilidade que buscamos é "arqueologia de dados" em sistema sem documentação.
- Git como prática diária; conforto em documentar decisões técnicas.
Benefícios
Não informado.
Vagas semelhantes que ainda estão abertas
Oportunidades ativas na mesma área/tecnologia para você continuar a candidatura.