Consultor Databricks - São Paulo

Participar de reuniões técnicas, workshops e apresentações para clientes.

Atuar como referência técnica em Databricks e engenharia de dados nos projetos.

Garantir a qualidade, performance, escalabilidade e segurança das soluções implementadas.

Assegurar a adoção das boas práticas de desenvolvimento e arquitetura de dados.

Garantir a qualidade, integridade, consistência e rastreabilidade dos dados.

Definir e disseminar padrões técnicos para desenvolvimento de pipelines.

Desenvolver, implementar e manter soluções de dados utilizando a plataforma Databricks.

Projetar e desenvolver pipelines de ingestão, transformação e processamento de dados.

Desenvolver aplicações e processos de dados utilizando Python, PySpark, Spark SQL e SQL.

Implementar arquiteturas Lakehouse e Medallion.

Construir e manter as camadas Bronze, Silver e Gold.

Desenvolver processos batch e streaming para processamento de grandes volumes de dados.

Integrar dados provenientes de sistemas corporativos, bancos de dados, APIs, arquivos e plataformas em nuvem.

Criar e otimizar notebooks, jobs, workflows e pipelines Databricks.

Realizar tuning e otimização de performance dos workloads Spark.

Implementar mecanismos de controle de qualidade e validação dos dados.

Apoiar a definição e implementação de políticas de governança, segurança e controle de acesso.

Realizar análise técnica de requisitos e propor soluções de dados escaláveis.

Participar da definição da arquitetura técnica dos projetos.

Apoiar processos de migração e modernização de Data Warehouses e plataformas legadas.

Desenvolver testes unitários, integrados e de qualidade de dados.

Implementar processos de CI/CD para soluções e pipelines de dados.

Monitorar processos, identificar falhas e realizar troubleshooting.

Elaborar documentação técnica e arquitetural.

Apoiar equipes de BI, Analytics, Data Science e áreas de negócio.