Data Engineer - Python / Azure - Campinas

Campinas de 1 a 2 vezes por semana

Inglês avançado

Projetar, desenvolver e manter pipelines ETL para ServiceNow e outras fontes de dados operacionais.

Crie e mantenha modelos de dados e conjuntos de dados para análise e Business Intelligence (BI).

Implemente verificações de qualidade de dados, reconciliação e monitoramento para garantir resultados precisos e confiáveis.

Desenvolva cargas incrementais de dados e lide com paginação de API, limites de taxa, novas tentativas e falhas.

Colaborar com partes interessadas técnicas e empresariais para traduzir os requisitos de relatórios em soluções de dados.

Documentar fontes de dados, transformações, definições de métricas e dependências de pipeline.

Contribua para pipelines de CI/CD e melhore a confiabilidade e a manutenibilidade das soluções de dados.

Proficiência em Python e SQL.

Experiência prática na construção e manutenção de pipelines ETL ou ELT.

Experiência em integração de dados de APIs REST e bancos de dados relacionais.

Compreensão da modelagem de dados para análise e relatórios.

Experiência na implementação de validação de dados, tratamento de erros e monitoramento de pipeline.

Conhecimento prático do Git.

Experiência com Microsoft Azure e seus serviços de dados.

Experiência com APIs ServiceNow e dados operacionais, incluindo incidentes e solicitações de serviço.

Experiência na construção de pipelines ETL usando Databricks e Spark.

Familiaridade com Power BI e preparação de conjuntos de dados para consumo de BI.

Experiência com Azure DevOps e CI/CD para pipelines de dados.

Experiência na implementação de registro e monitoramento com ferramentas como o Datadog.

Familiaridade com Infraestrutura como Código, particularmente Terraform.

Experiência em lidar com alterações de esquema, dados históricos e preenchimentos de pipeline.

Em toda a empresa, usamos Azure, Azure DevOps, Azure Repos, Python, SQL, Databricks, Spark, Power BI, Datadog, PostgreSQL.