Atividades: Projetar e implementar pipelines de ingestão, transformação e disponibilização de dados estruturados e não estruturados, garantindo coleta consistente e confiável.
Local
Esteio - RS
Responsabilidades
- Desenvolver processos de ETL/ELT para integração entre sistemas transacionais, data lakes, data lakehouses e plataformas analíticas.
- Realizar limpeza, transformação, enriquecimento e padronização de dados, assegurando qualidade e integridade das informações.
- Projetar, implementar e administrar soluções de armazenamento de dados (bancos relacionais, NoSQL, data lakes).
- Realizar a modelagem de dados analíticos (dimensional, data vault ou outros padrões).
- Estruturar datasets analíticos otimizados para consumo por ferramentas de BI e analytics.
- Implementar controles e validações de qualidade de dados nos pipelines.
- Monitorar a execução dos fluxos de dados e atuar na resolução de incidentes.
- Monitorar e otimizar a performance dos sistemas de dados, garantindo escalabilidade e eficiência operacional.
- Aplicar práticas de segurança e compliance, protegendo dados sensíveis e atendendo requisitos regulatórios.
- Construir e manter documentação técnica sobre arquitetura, pipelines, integrações e processos de dados.
- Construir e manter os catálogos de dados e metadados.
- Colaborar com analistas de BI, cientistas de dados e áreas de negócio para entender necessidades e entregar soluções adequadas.
- Apoiar na identificação de fontes de dados e requisitos técnicos para novos projetos.
- Realizar melhorias contínuas nos sistemas e processos de dados, conforme boas práticas de engenharia e governança.
Requisitos
- SQL avançado
- Python
- Familiaridade com ambientes com Power BI
- Conhecimento em modelagem dimensional de dados, criação de conjuntos de dados (datasets) analíticos otimizados e integração com pipelines de dados
- Experiência com bancos de dados relacionais (SQL Server, PostgreSQL, MySQL)
- Vivência com ferramentas e plataformas de dados: ETL/ELT, Airflow, Databricks, Spark, Kafka, ou equivalentes
- Ter atuado com ambientes em nuvem (Azure ou GCP) e seus serviços de dados
- Experiência com ferramentas de versionamento e automação (Git, CI/CD)
- Noções de qualidade, segurança e governança de dados (LGPD, políticas de acesso, criptografia)
Diferenciais
- Experiência com Data Lakes, Lakehouse, Delta Lakes e ferramentas de orquestração
- Graduação completa em Engenharia da Computação, Engenharia de Dados, Engenharia de Software, Ciência da Computação, Estatística e Sistemas de Informação
- MBA ou pós graduação em áreas afins
- Experiência prévia em gestão de projetos
- Vivência em interação com áreas de negócio e tecnologia
- Experiência em ambientes corporativos estruturados será diferencial
Faixa salarial
Salário a combinar
WhatsApp