Especialista de Engenharia de Dados Sênior (Google Cloud) - São Paulo

Buscamos um(a) Especialista de Engenharia de Dados Sênior para atuar de forma 100% presencial em um projeto estratégico de migração de plataforma de dados em uma instituição financeira de grande porte, na Av. Paulista, em São Paulo.

O projeto é a migração de uma plataforma de dados de grande porte, hoje em Cloudera na AWS, para o Google Cloud, no modelo lift and shift: cerca de 13 mil jobs Spark e PySpark, 2,5 PB de dados, streaming com CDC, centenas de modelos de Machine Learning e frameworks proprietários de ingestão e processamento. São 9 meses de migração em ondas mensais, seguidos de 3 meses de pós-implantação.

Você vai atuar na fábrica de migração, convertendo e implantando cargas no Google Cloud, resolvendo os casos técnicos mais complexos e garantindo a qualidade do que vai para produção.

Responsabilidades

• Conduzir a conversão e a implantação de jobs Spark e PySpark, SQL de Hive e Impala e fluxos de streaming no Google Cloud.
• Operar os aceleradores da fábrica de migração no dia a dia: conversão assistida por IA, regras da fábrica, testes de paridade e evidências.
• Garantir a comparação automática entre legado e destino e apoiar o reprocessamento de ondas quando necessário.
• Resolver casos técnicos complexos e apoiar a adaptação dos frameworks proprietários do cliente.
• Aplicar e manter padrões de código, revisão em pares e esteiras de CI/CD (GitLab CI).
• Esclarecer dúvidas de regra de negócio junto aos especialistas do cliente.
• Apoiar a estimativa e o planejamento das ondas de migração.

Informações adicionais

• Atuação 100% presencial em instituição financeira na Av. Paulista - São Paulo.
• Contratação CLT.