O que buscamos: Profissional com sólida experiência em processamento e análise de dados em ambiente AWS, com domínio em Python, Spark e conceitos de Data Mesh.
Local
Barueri - SP
Presencial
Responsabilidades
- Processar e analisar dados utilizando AWS EMR com Spark.
- Utilizar AWS Glue como catálogo de dados.
- Realizar consultas em DynamoDB e Athena.
- Monitorar e identificar erros em execuções no Step Function.
- Desenvolver e manter processos em Python e Spark, especialmente no framework B3.
- Orquestrar e acompanhar processos no Control-M, identificando dependências, melhorias e correções necessárias.
- Utilizar GitHub para versionamento de código e colaboração entre equipes.
- Apoiar na análise de processos criados em SSIS e contribuir para a migração de processos OnPrem para AWS.
- Recomendar e implementar melhorias utilizando Iceberg e arquitetura Data LakeHouse (Spark Iceberg Dremio).
Requisitos
- Experiência em AWS EMR, Glue (catálogo), DynamoDB/Athena e Step Function.
- Experiência sólida em Python e Spark, especialmente em frameworks financeiros como B3.
- Experiência com Control-M para orquestração de processos e análise de dependências.
- Conhecimento em GitHub para versionamento e colaboração de código.
- Experiência com bancos de dados relacionais, procedures e SSIS.
- Sólidos conhecimentos em Databricks.
Diferenciais
- Gostar de trabalhar em equipe e ser colaborativa em suas atribuições.
- Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento.
- Transforme ideias em soluções criativas e busque qualidade em toda sua rotina.
- Tenha habilidades de resolução de problemas.
- Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo.
- Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.
Sobre a empresa
Big enough to deliver – small enough to care. #VempraGFT #VamosVoarJuntos #ProudToBeGFT.
WhatsApp