Engenheiro de Dados Sênior

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes.

Local

São Paulo - SP

Remoto

Responsabilidades

• Análise e Planejamento da Migração: Avaliar a arquitetura e os requisitos do DW SAS existente.
• Mapear os dados, transformações e processos de negócio do SAS para os serviços GCP (Cloud Storage, BigQuery, Dataproc).
• Definir a estratégia de migração de dados (full load, incremental, CDC).
• Elaborar um plano de arquitetura de dados no GCP.
• Design e Modelagem de Dados no GCP: Projetar esquemas de tabelas no BigQuery, considerando performance, custo e escalabilidade.
• Definir estratégias de particionamento e clustering para BigQuery.
• Modelar as zonas de dados no Cloud Storage (Bronze, Silver e Gold).
• Desenvolvimento de Pipelines de ELT/ETL: Criar rotinas de transformação de dados usando Dataproc (Spark) ou Dataflow para carregar dados para o BigQuery.
• Traduzir a lógica de negócios e as transformações existentes do SAS para o ambiente GCP.
• Implementar mecanismos de validação e qualidade de dados.
• Provisionamento e Gerenciamento de Infraestrutura: Utilizar ferramentas de IaC (Terraform) para provisionar e gerenciar recursos GCP (BigQuery datasets/tables, Cloud Storage buckets, Dataproc clusters).
• Configurar e otimizar clusters Dataproc para diferentes cargas de trabalho.
• Gerenciar redes, segurança (IAM) e acessos no GCP.
• Otimização de Performance e Custo: Otimizar consultas no BigQuery para reduzir custos e melhorar o desempenho.
• Ajustar e otimizar jobs Spark no Dataproc.
• Monitorar e otimizar o uso de recursos GCP para controlar custos.
• Segurança e Governança de Dados: Implementar e garantir a segurança dos dados em trânsito e em repouso.
• Definir e aplicar políticas de IAM para controlar o acesso aos dados e recursos.
• Garantir a conformidade com as políticas de governança de dados.
• Monitoramento e Suporte: Solucionar problemas de desempenho e funcionalidade dos pipelines de dados e recursos GCP.
• Documentação: Documentar a arquitetura, os pipelines de dados, os modelos de dados e os procedimentos operacionais.
• Comunicação: Comunicar-se de forma eficaz com membros da equipe, stakeholders e outras áreas da empresa.
• Garantir a comunicação clara entre as definições de arquitetura e componentes de software, evolução e a qualidade dos desenvolvimentos da equipe; Jira / Metodologias Ágeis: Conhecer as metodologias ágeis, seus ritos e proficiência com a ferramenta Jira.

Requisitos

• Google Cloud Platform (GCP): Conhecimentos em BigQuery, Cloud Storage, Dataproc, Dataflow/Composer/Cloud Functions, Cloud IAM (Identity and Access Management), VPC, Networking e Security.
• SAS: Compreensão da arquitetura, modelos de dados, rotinas de ETL e processos de negócio do DW SAS existente.
• Linguagem SAS: Habilidade em ler e entender código SAS para traduzir lógicas para o ambiente GCP.
• Processamento Distribuído e Big Data: Experiência em Apache Spark.
• Bancos de Dados: Domínio de SQL para consulta e manipulação de dados.
• Conceitos de DW/BI: Modelagem dimensional, schemas estrela/floco de neve, conceitos de ETL/ELT.
• Linguagens de Programação: Python e PySpark, SQL (avançado), Shell Scripting, Controle de Versão: Git/GitHub/Bitbucket.

Diferenciais

• Trabalho 100% remoto

Benefícios

• Convênio Médico Porto Seguro
• Convênio Odontológico Porto Seguro
• Participação nos Lucros e Resultados (PLR)
• Auxílio Creche
• Vale Alimentação e Refeição Alelo
• Auxílio Home Office
• Parcerias com Instituições de Ensino
• Incentivo para Certificações
• Pontos Livelo
• TotalPass
• Mindself

Faixa salarial

Não especificado

Carga horária

100% remoto

Tipo de contrato

Não especificado

Processo seletivo

• Cadastro
• Mapeamento Comportamental
• Avaliação de Perfil
• Entrevista Gestor
• Entrevista Cliente
• Contratação

Sobre a empresa

A LEEGA é referência em consultoria e outsourcing para soluções de Data Analytics.

Temos 15 ANOS de mercado e mais de 20 ANOS de experiência em soluções de Business Intelligence, Data Integration e Analytics, atendendo grandes empresas dos mais diversos segmentos do mercado e contamos com mais de 580 colaboradores.

Conquistamos capacidade técnica e reunimos as melhores pessoas para proporcionar aos nossos clientes a melhor experiência.

Brasileiros, com escritório de projetos, fábrica de software e centro de treinamento em São Paulo (capital) , atuação internacional com escritório também em Portugal, somos conhecidos por viver e respirar Analytics e Big Data, inovando nossa tecnologia, compartilhando conhecimento, evoluindo talentos e entregando VALOR.

Informações Adicionais

• Na nossa empresa, você encontrará um ambiente colaborativo e um pacote de benefícios que visa o seu crescimento, saúde e qualidade de vida.