Engenheiro(a) de Dados Sênior - Home Office

Local de atuação: 100% remoto

Tempo de Projeto: 12 meses

Engenheiro(a) de Dados Sênior, com sólida experiência em Google Cloud Platform (GCP), para atuar no desenvolvimento e na sustentação de soluções de engenharia de dados, construindo pipelines escaláveis, confiáveis e eficientes para processamento e disponibilização de dados.

📍Principais responsabilidades:

• Engenharia de Dados na GCP: Projetar, desenvolver, orquestrar e otimizar pipelines de dados (batch e streaming) utilizando as principais ferramentas do ecossistema Google Cloud (BigQuery, Dataflow, Dataproc e Pub/Sub).

• Integração Multicloud e Híbrida: Conectar e integrar dados de ambientes diversos, incluindo Oracle (OCI), SQL Server (on-premises) e AWS (S3).

• Qualidade e Eficiência: Garantir a qualidade, governança e monitoramento dos dados, otimizando custos e escalabilidade.

• Colaboração Estratégica: Estruturar e preparar dados para apoiar os times de Ciência e Análise de Dados.

📍Requisitos técnicos

• Pipelines de Dados (Dataflow): Desenvolvimento de fluxos de ETL/ELT para extração de dados do Oracle e SQL Server, com transformação e carga automatizada no BigQuery.

• Arquitetura de Dados (BigQuery): Estruturação e organização de modelos analíticos divididos em quatro camadas de maturidade: Raw, Bronze, Silver e Gold.

• Orquestração de Fluxos (Cloud Composer): Implementação e agendamento dos pipelines com execução ordenada, monitoramento ativo e tratamento automatizado de falhas.

• Governança e Documentação: Catálogo completo de tabelas, metadados e ativos de dados utilizando as ferramentas Dataplex e/ou Data Catalog.

📍Entregas esperadas.

• Desenvolvimento de pipelines no Dataflow para extração de dados de Oracle e SQL Server, transformação e carga no BigQuery.
• Estruturação de modelos analíticos no BigQuery, organizados em camadas Raw, Bronze, Silver e Gold.
• Implementação de orquestrações no Cloud Composer, com execução ordenada, monitoramento e tratamento de falhas.
• Documentação de tabelas, metadados e ativos de dados utilizando Dataplex e/ou Data Catalog.

📍Diferenciais

Experiência ou conhecimento em sistemas de informação hospitalar e de saúde, especialmente: PEP / EMR / EHR; RIS (Radiology Information System); LIS (Laboratory Information System); sistemas de agendamento e regulação.