Engenheiro de Dados

Atividades:
- Desenvolver e manter pipelines de dados para coleta e processamento de grandes volumes de dados usando Airflow.
- Projetar, construir e gerenciar data lakes e data warehouses escaláveis e de alta performance na AWS, utilizando S3, RDS, Lambda e Athena.
- Implementar e administrar soluções de banco de dados MongoDB/Atlas.
- Garantir a integridade, qualidade e segurança dos dados através da implementação de verificações e políticas adequadas.
- Colaborar com cientistas de dados, analistas de dados e outros stakeholders para entender suas necessidades de dados e fornecer suporte técnico.
- Otimizar a performance de consultas e operações de banco de dados, implementando estratégias de indexação e particionamento.
- Integrar dados de várias fontes para criar uma visão unificada e coerente.
- Documentar processos, fluxos de trabalho e arquiteturas de dados.
- Explorar e implementar novas tecnologias e ferramentas para melhorar a eficiência da gestão de dados.
- Participar na implantação de um ambiente de dados completo na AWS, seguindo a arquitetura medalion.
- Conhecimento em Nifi.
- Conhecimento de práticas de DataOps e infraestrutura em nuvem AWS.

Requisitos Técnicos:
- Experiência comprovada como Engenheiro de Dados ou em funções similares.
- Conhecimentos em MongoDB/Atlas, incluindo otimização de collections e agregações.
- Sólidos conhecimentos em Python e SQL.
- Experiência com ferramentas e frameworks de ETL.
- Proficiência em serviços AWS relacionados a dados, como S3, RDS, Lambda e Athena.
- Experiência com ferramentas de integração de dados e APIs, especialmente Airflow.
- Conhecimento em arquitetura de dados e modelagem de dados.
- Habilidade para resolver problemas complexos e pensar de forma analítica.
- Boas habilidades de comunicação e capacidade de trabalhar em equipe.