Data Engineer
Sobre a Vaga
stamos buscando um(a) Data Engineer para atuar no desenvolvimento, otimização e sustentação de soluções de dados em larga escala. A pessoa será responsável por trabalhar com pipelines de dados, Snowflake, AWS e ferramentas de engenharia de dados, contribuindo para ambientes escaláveis, performáticos e confiáveis.
Buscamos um profissional com forte experiência em SQL e Snowflake, capacidade de otimizar estruturas e pipelines de dados e experiência trabalhando em ambientes de grande volume.
Responsabilidades
- Desenvolver, manter e otimizar pipelines de dados ETL/ELT.
Criar e otimizar consultas SQL complexas, considerando performance, escalabilidade e eficiência.
- Projetar e manter modelos e estruturas de dados.
Desenvolver, otimizar e realizar manutenção de objetos no Snowflake, seguindo boas práticas de arquitetura e data warehousing.
- Realizar tuning e otimização de performance e custos no Snowflake.
Refatorar objetos, queries e pipelines Snowflake para ambientes de dados de grande escala.
Desenvolver e manter pipelines utilizando ferramentas como dbt, Apache Airflow ou similares.
- Trabalhar com serviços de dados da AWS, incluindo RDS, S3 e Aurora.
- Atuar com mecanismos de backup e restore de dados.
Utilizar Python para desenvolvimento de scripts, automações, pipelines e ferramentas de suporte.
Utilizar Git e GitHub para versionamento, branching, pull requests e desenvolvimento colaborativo.
Trabalhar em ambientes Linux, realizando navegação no sistema de arquivos, shell scripting e gerenciamento de serviços.
Utilizar tecnologias de containerização, como Docker, em ambientes locais e cloud.
Colaborar com equipes de engenharia, dados e tecnologia para garantir a confiabilidade e disponibilidade das soluções de dados.
Requisitos
- Experiência sólida em Engenharia de Dados.
Forte domínio de SQL, incluindo
- Queries complexas;
- Performance tuning;
- Data modeling;
- Otimização de consultas.
Experiência prática com Snowflake, incluindo
- Schema design;
- Otimização;
- Boas práticas de Data Warehousing;
- Gestão e otimização de custos.
- Experiência comprovada na refatoração e otimização de objetos e pipelines Snowflake em ambientes de grande escala.
- Experiência com desenvolvimento e manutenção de pipelines ETL/ELT.
- Conhecimento de dbt, Apache Airflow ou ferramentas similares.
- Experiência ou conhecimento de serviços de dados da AWS, especialmente:
- Amazon RDS;
- Amazon S3;
- Amazon Aurora;
- Backup e restore.
- Conhecimento prático de Python para automação, scripting e desenvolvimento de pipelines.
- Experiência com Git e GitHub, incluindo branching, pull requests e workflows colaborativos.
- Experiência trabalhando em ambientes Linux.
- Conhecimento de Shell Scripting.
- Conhecimento de Docker e containerização.
- Experiência em ambientes de dados de grande escala e alto volume.
- Experiência avançada em otimização de custos e performance no Snowflake.
- Experiência com arquitetura de Data Warehouse.
- Experiência com automação de processos de engenharia de dados.
- Conhecimento de práticas de CI/CD aplicadas a pipelines de dados.
- Experiência trabalhando em ambientes cloud-native.
Benefícios
Não informado.
Vagas semelhantes para você
Selecionadas com base na tecnologia, modalidade, nível e localização desta oportunidade.