Zyte tem liderado a construção de ferramentas poderosas e fáceis de usar para coletar, formatar e entregar dados da web, rápida e dependavelmente, em escala.
Local
Rio de Janeiro - RJ
Remoto
Responsabilidades
- Liderar a equipe de Core & MLOps Squad
- Desenvolver e evoluir a plataforma central (Kubernetes, Mesos, agendamento/autoescalonamento de GPU, computação distribuída)
- Gerenciar a plataforma de modelos: registro, rastreamento de experimentos, orquestração de treinamento, avaliação, serviço e monitoramento
- Construir o Golden Path: repositórios de referência, CLI de referência, pipelines CI/CD opinativos, contratos de tempo de execução (saúde/métricas/rastreamento/SLOs), clientes de alto desempenho, quebradores de circuito e outros padrões prontos para produção
- Operar uma plataforma de registro e treinamento de modelos segura e multi-tenant com gargalos padronizados de experimento/avaliação
- Fornecer padrões de serviço prontos para uso (online + batch), monitoramento de deriva/qualidade e roteiros de reversão
- Integrar capacidades de IA públicas/open-source como serviços de plataforma gerenciados com controles de custo e governança de dados
- Gerenciar a equipe: roadmap/priorização, entrega, mentoria e altos padrões de engenharia
- Fazer parceria com engenharia de produto (Zyte API, Scrapy Cloud), Prod Ops e Segurança em planos de adoção e implantação
- Mentorar a equipe e fomentar uma mentalidade de pensamento de plataforma
- Áreas de propriedade: orquestração de contêineres (Kubernetes/Knative), provisionamento e autoescalonamento de GPU, gerenciamento de ambiente e segredos
- Operadores, sidecars e SDKs internos/bibliotecas (Go/Rust/Python/Java) que impõem o contrato do caminho de ouro
- Plataforma de modelos: registro, rastreamento de experimentos, orquestração de treinamento, estrutura de avaliação, infraestrutura de serviço, monitoramento de modelos
- Observabilidade: pipelines de log/métricas/rastreamento; pipeline de faturamento: abstração de medição/eventos/rastreamento de custos
- Caminho de ouro: Java, Python, modelos de ML + blueprints de CI/CD + docs + CLI de referência
- Habilitação de confiabilidade (práticas SRE), governança de custos, segurança da cadeia de suprimentos (SBOM, assinatura de imagem)
Requisitos
- 5+ anos de experiência construindo sistemas distribuídos; 3+ anos em MLOps/engenharia de plataforma de ML (ou impacto equivalente)
- Conhecimento de Linux/OS internos (modelo de processo, cgroups/namespaces), rede (TCP/IP, HTTP/2), concorrência e perfil de desempenho
- Compreensão profunda do Kubernetes (bônus: Mesos)
- Habilidade de desenvolvimento de serviços de alto desempenho em Java, Rust, Go ou C++ (bônus: familiaridade com frameworks vert.x e Netty); fortes habilidades em Python
- Experiência com infraestrutura de GPU (agendamento, containerização, otimização)
- Rastreamento de design e operação de plataformas de modelos (registro, treinamento, serviço, monitoramento) em produção
- Sucesso demonstrado liderando equipes técnicas e implementando soluções de plataforma organizacionais em toda a empresa
Diferenciais
- Streaming & workflows: Kafka mais Argo/Temporal/Airflow ou equivalentes
- Observabilidade baseada em eBPF, ferramentas de desempenho ou io_uring experiência
- Otimização de custo para ML/IA; cotas e justiça multi-tenant
- Experiência prática na autoria de Caminhos de Ouro (serviços chassis/modelos, blueprints de CI/CD, CLI de referência)
- Práticas SRE (SLIs/SLOs, gerenciamento de incidentes)
Benefícios
- Fomentar e nutrir novas ideias e trazê-las ao mercado
- Fazer parte de uma equipe multi-cultural, progressiva e auto-motivada
- Ter a liberdade e flexibilidade de trabalhar de onde você faz seu melhor trabalho, já que somos uma empresa completamente remota
- Ter a oportunidade de trabalhar com tecnologias e ferramentas de código aberto de ponta
Sobre a empresa
Zyte tem liderado a construção de ferramentas poderosas e fáceis de usar para coletar, formatar e entregar dados da web, rápida e dependavelmente, em escala.
Hoje, mais de 3.000 empresas e 1 milhão de desenvolvedores confiam em nossas ferramentas e serviços para obter os dados que precisam da web.
Benefícios
- Fomentar e nutrir novas ideias e trazê-las ao mercado
- Fazer parte de uma equipe multi-cultural, progressiva e auto-motivada
- Ter a liberdade e flexibilidade de trabalhar de onde você faz seu melhor trabalho, já que somos uma empresa completamente remota
- Ter a oportunidade de trabalhar com tecnologias e ferramentas de código aberto de ponta
WhatsApp