Engenheiro(a) de Dados Sênior | Azure Databricks

Como Engenheiro(a) de Dados Sênior, você será a principal referência técnica da squad, liderando iniciativas de modernização e migração de plataformas de dados para Azure Databricks. Sua atuação será fundamental para definir padrões de engenharia, garantir a qualidade das entregas e conduzir decisões arquiteturais que apoiem a transformação digital dos nossos clientes.

Você atuará em projetos de grande porte, com foco em arquiteturas modernas de dados, processamento distribuído, streaming e ambientes Lakehouse, colaborando com equipes multidisciplinares em um ambiente inovador e orientado a resultados.

Faça parte de uma equipe que está impulsionando a transformação digital por meio de dados, analytics e inteligência artificial. Aqui, você terá acesso a projetos estratégicos, tecnologias de ponta e oportunidades contínuas de aprendizado e crescimento.

Together we do what matters.

Saiba mais sobre alguns dos nossos benefícios: 

• Vale refeição ou alimentação
• Cartão Multibenefícios (até Consultor(a) Sênior)
• Convênio médico e odontológico
• Certificações e treinamentos
• Seguro de vida
• Previdência privada
• Avababy: acompanhamento da gestação e kit para novos pais e mães
• Participação nos resultados da empresa
• Wellhub
• Auxílio creche
• Mentoria de carreira
• Política de Birthday Off (um dia de folga no mês do seu aniversário)
• Sessões de bem-estar
• Para cargos gerenciais: veículo corporativo, estacionamento e auxílio combustível

Responsabilidades

• Liderar tecnicamente a migração de workloads de dados de Cloudera para Azure Databricks;
• Definir estratégias de modernização para pipelines, scripts Python e arquiteturas analíticas;
• Projetar e evoluir pipelines ETL/ELT escaláveis e resilientes;
• Liderar iniciativas de streaming de dados em tempo real;
• Definir padrões de engenharia de dados, observabilidade e governança;
• Realizar revisões de código e disseminar boas práticas de desenvolvimento;
• Apoiar a modelagem de dados em arquiteturas Lakehouse utilizando Delta Lake;
• Integrar dados provenientes de APIs, aplicações SaaS, mensageria e sistemas legados;
• Colaborar com times de Data Science e MLOps na disponibilização de dados para modelos de IA e Machine Learning;
• Apoiar definições arquiteturais junto a arquitetos e stakeholders;
• Garantir performance, qualidade e governança dos ambientes de dados;
• Atuar como mentor(a) técnico(a), apoiando o desenvolvimento da equipe.

.

Habilidades e experiências

Requisitos obrigatórios

• Experiência sólida com Azure Databricks;
• Forte experiência com Apache Spark para processamento distribuído;
• Domínio de Python e SQL;
• Experiência em migração de dados, preferencialmente ambientes Hadoop/Cloudera;
• Experiência com ingestão de dados estruturados e não estruturados;
• Conhecimento de modelagem de dados para ambientes analíticos;
• Experiência com integração de dados via APIs, mensageria e sistemas OLTP;
• Familiaridade com engenharia de Machine Learning e pipelines de dados;
• Experiência com Git e práticas de CI/CD;
• Vivência em ambientes Cloud, preferencialmente Microsoft Azure;

Diferenciais

• Experiência com migração de workloads de Cloudera/Hadoop;
• Conhecimento em Databricks Structured Streaming e Delta Live Tables;
• Experiência com Unity Catalog;
• Conhecimento em DBT;
• Experiência com MLOps e MLflow;
• Vivência no segmento financeiro;
• Certificações Azure e/ou Databricks.

.