Local
Vitória - ES
Responsabilidades
- Desenvolver as extrações, ingestão e transformação de dados nas camadas do lake a ser construído;
- Desenhar integrações entre sistemas legados e camadas de ingestão e processamento cloud;
- Definir padrões de integração entre data centers locais, sistemas on-premises e soluções cloud;
- Garantir que a arquitetura seja resiliente, segura, performática e com custo otimizado;
- Estruturar pipelines em larga escala, distribuídos entre AWS, Azure e GCP;
- Definir e manter Lifecycle de dados nas camadas Bronze, Silver e Gold;
- Implementar políticas de Governança de Dados, Data Quality e catálogo unificado (Lake Formation, GlueCatalog, DataHub, Collibra ou equivalente);
- Atuar junto às áreas de Produto, Cliente, Fornecedor na definição de domínios e modelos corporativos;
- Integrar ambientes de consumo analítico e ciência de dados entre clouds;
- Construir arquiteturas para consumo real time e batch;
- Orientar squads de engenharia, analytics e sistemas na adoção de padrões de arquitetura unificados para o ecossistema multi-cloud;
- Conduzir POCs possivelmente comparativas entre AWS, GCP e Azure;
- Apoiar no desenvolvimento das extrações e ingestão de dados.
Requisitos
- Sólida experiência com integração híbrida: on-premises, AWS, GCP e Azure.
- Experiência prática com conectividade corporativa.
- Experiência em criação de desenho de arquiteturas multi-cloud com padronização e interoperabilidade.
- Profundo conhecimento em pipelines de dados multi-cloud: AWS (Kinesis, Glue, S3, Lake Formation, Redshift, EMR, lambda) GCP (BigQuery, Dataflow/Beam, Pub/Sub, Composer) Azure (Data Factory, Synapse, ADLS, Databricks, Event Hub)
- Terraform;
- Estreia de deploy;
- Experiência com ingestion patterns: CDC, streaming, batch, API ingestion, file ingestion.
- Modelagem de dados: conceitual, lógica, física, canonical models, padrões corporativos.
- Big Data e processamento distribuído (Spark, EMR, Databricks desejável).
- Governança, metadados, qualidade, catálogo e lineage.
- Segurança e IAM.
- Ferramentas de orquestração: Step Functions, Airflow, MuleSoft, DatabricksJobs.
- Governança de dados, metadados, Data Quality, lineage e Catálogo corporativo.
- Experiência com DW/BI (Power BI (Necessário), Looker(Desejável), Tableau (Desejável), QuickSight (Desejável)).
- Experiência com Big Data e processamento distribuído (Spark, Databricks, EMR).
- Conhecimento sólido em mensageria (Kafka, Pub/Sub, Event Hub, Kinesis).
- Experiência com BI e Self-Service (Power BI, Tableau, Looker).
- Experiência com CI/CD, Infra as Code (Terraform preferencial), GitOps.
- Segurança em cloud.