Engenheiro de Dados

💼 O que você irá fazer:

▪️ Desenvolver e manter pipelines de ETL/ELT para o Data Lake na AWS
▪️ Implementar e otimizar processos de ingestão, transformação e carga de dados usando Apache Spark, PySpark e Spark Streaming
▪️ Gerenciar e otimizar a infraestrutura de Big Data na AWS, incluindo EMR, Glue e outros serviços relevantes
▪️ Trabalhar com Kafka para processamento de streaming
▪️ Implementar soluções de armazenamento e consulta de dados usando Delta Lake, Redshift, MongoDB, DynamoDB, entre outros
▪️ Desenvolver e manter pipelines de dados usando Airflow
▪️ Colaborar no desenvolvimento e teste de soluções de IA para otimização, automação e garantia de qualidade dos dados

🎯 O que buscamos:

▪️ Graduação em Engenharia, Computação, Sistemas de Informação ou áreas afins
▪️ Experiência sólida com AWS (especialmente EMR, Glue e serviços de armazenamento)
▪️ Proficiência em Python e experiência com PySpark
▪️ Conhecimento em Kafka
▪️ Experiência com bancos de dados SQL e NoSQL
▪️ Familiaridade com ferramentas de visualização como Superset e Tableau
▪️ Habilidade em automação e IaC (Terraform ou CloudFormation)
▪️ Experiência com DataHub para catalogação de dados
▪️ Conhecimento em práticas de DataOps e MLOps

🌟 Diferenciais:

▪️ Certificações AWS (Cloud Practitioner, Solutions Architect)
▪️ Experiência com Starburst Trino
▪️ Conhecimento em IA e ML aplicados à Engenharia de Dados
▪️ Familiaridade com ferramentas de observabilidade como Datadog, New Relic ou Grafana
▪️ Inglês intermediário ou avançado