Responsabilidades e atribuições
Tarefas e Responsabilidades Somos uma consultoria de Ciência de Dados e Engenharia de Dados em forte crescimento e estamos ampliando o time para tocar projetos grandes, complexos e com impacto real
Aqui, IA não é “conceito”: entra no dia a dia em automações, pipelines, observabilidade, qualidade e produtividade, sempre com foco em robustez e escala para clientes enterprise
Se você curte construir coisas que rodam de verdade — com dados chegando no horário, orquestração confiável, governança, performance e rastreabilidade — vem com a gente. 👇 ✅ O que você vai fazer - Construir e evoluir pipelines de dados (batch e, quando necessário, near real-time) - Orquestrar workflows com Apache Airflow: DAGs resilientes, idempotentes e fáceis de manter, com dependências, retries e backfills bem resolvidos - Desenvolver e otimizar processamento distribuído com Spark (PySpark), em ambientes como Databricks - Trabalhar com Python e SQL para ingestão, transformação e validação - Implementar qualidade de dados, monitoramento/alertas, logs e observabilidade - Colaborar com times de Data Science, Analytics e Produto - Documentar decisões e apoiar padrões de engenharia (Git, CI/CD, code review) 🎯 Requisitos - Experiência prática com Apache Airflow em produção: criação e manutenção de DAGs, operators, sensors e hooks, agendamento, retries, backfill e troubleshooting de execuções - Spark / PySpark sólido (transformações, otimização, leitura/escrita eficiente) - Python aplicado à engenharia de dados (ingestão, integração com APIs, transformação e testes) - SQL forte (joins, CTEs, window functions, modelagem e performance) - Noções claras de modelagem e governança de dados - Diferenciais: Databricks (Jobs, notebooks, clusters, Delta Lake/arquitetura medallion, Unity Catalog), operação de Airflow gerenciado ou em Kubernetes (MWAA, Cloud Composer, Astronomer), cloud (Azure, AWS ou GCP), dbt e streaming (Kafka, Spark Structured Streaming) 💡 O que você encontra aqui - Projetos desafiadores com grandes empresas e dados de verdade - Ambiente de crescimento acelerado, com espaço para protagonismo e evolução - Cultura de time: colaboração, autonomia, entrega e qualidade - Stack moderna, com incentivo real à automação e boas prática
