Engenheiro de Dados Sênior (AWS - PySpark - Kafka)

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes.

Isso não poderia ser diferente com o nosso principal combustível: as pessoas!

Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.

Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.

Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!

>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.

Cadastre-se agora mesmo em nossas vagas!

Buscamos um Engenheiro de Dados Sênior que, além de construir e operar pipelines, assuma responsabilidade arquitetural sobre a plataforma de dados orientada a eventos: desenho de tópicos e contratos de eventos, padrões de ingestão em streaming, processamento com PySpark e decisões de performance, resiliência e custo no ambiente AWS. É uma posição de execução técnica pesada: a pessoa escreve código, faz tuning de Kafka e Spark, revisa o desenho de terceiros e responde pela confiabilidade dos dados que alimentam painéis executivos, relatórios a clientes e obrigações regulatórias.

O ambiente é regulado, no mercado financeiro e de investimentos, onde rastreabilidade, reprodutibilidade e correção auditável dos números são requisitos de primeira ordem. A interlocução acontece com áreas como Wealth Management, Comercial, Risco, Compliance e Operações, além da atuação como referência técnica em Kafka e streaming para engenheiros pleno e júnior.

Principais responsabilidades

• Projetar e evoluir a arquitetura orientada a eventos na AWS, com Kafka (Amazon MSK ou Confluent) como backbone de integração entre sistemas transacionais e a plataforma analítica.

• Desenvolver producers e consumers Kafka com PySpark (Spark Structured Streaming), com controle explícito de offsets, checkpointing, idempotência, tratamento de late data e semântica de entrega adequada a cada caso.

• Definir e defender o desenho de tópicos, chaves, particionamento, retenção, compactação e contratos de eventos, com justificativa de trade-offs entre ordenação, throughput e custo.

• Governar esquemas no Schema Registry (Avro, Protobuf ou JSON Schema), definindo regras de compatibilidade e evolução sem quebrar consumidores.

• Implementar Change Data Capture (CDC) de bancos transacionais via Kafka Connect ou Debezium e integrar com fontes como APIs de custodiantes, distribuidores e provedores de mercado.

• Construir a camada de persistência dos eventos no Data Lake em S3, com formatos de tabela abertos (Iceberg ou Delta), organização de camadas e integração com Glue, EMR e Redshift.

• Conduzir tuning de performance e custo em Kafka e Spark, cobrindo lag de consumer groups, rebalanceamento, dimensionamento de brokers, micro-batch, skew e spill.

• Instrumentar observabilidade e controles automatizados de qualidade dos fluxos de eventos, cobrindo lag, freshness, volumetria, quebras de contrato e reconciliação entre origem e destino.

• Garantir linhagem e rastreabilidade ponta a ponta, da origem do evento ao número no painel, aplicando controles de acesso, criptografia, segregação por sensibilidade e conformidade com LGPD e normas do setor.

• Automatizar provisionamento e deploy da plataforma com infraestrutura como código e CI/CD, documentar decisões arquiteturais (ADRs) e atuar em code review, pareamento e definição de padrões com o time.

Requisitos obrigatórios

• 6+ anos de experiência em engenharia de dados, sendo pelo menos 2 anos com responsabilidade arquitetural sobre plataformas orientadas a eventos (ter desenhado a arquitetura, não apenas implementado o desenho de outra pessoa).

• Histórico comprovado de ter colocado em produção e operado uma plataforma de streaming com Kafka, com incidentes, plantão e consequências reais.

• Domínio de Apache Kafka: tópicos, partições, chaves, consumer groups, offsets, retenção, compactação, rebalanceamento, configuração de producers e consumers e diagnóstico de lag.

• Experiência prática na construção de producers e consumers com PySpark (Spark Structured Streaming) integrados ao Kafka, incluindo checkpointing, triggers, watermarks e gestão de estado.

• Experiência consolidada no ecossistema de dados AWS: Amazon MSK, S3, Glue, EMR, Lambda, IAM e Redshift ou equivalente.

• Python aplicado a engenharia de dados, com código modular, testável e versionado (não apenas notebooks), incluindo tipagem e testes automatizados.

• SQL avançado, com window functions, CTEs e leitura de plano de execução.

• Schema Registry e formatos de serialização (Avro, Protobuf ou JSON Schema), com regras de compatibilidade e evolução de esquemas.

• Kafka Connect ou Debezium para Change Data Capture (CDC) e integração de fontes transacionais à plataforma de dados.

• Infraestrutura como código (Terraform, CloudFormation ou CDK), Git, cultura de code review e CI/CD aplicado a dados.

• Formatos de tabela abertos (Iceberg ou Delta) e arquitetura Lakehouse sobre S3.

Diferenciais

• Experiência no mercado financeiro: investimentos, wealth management, custódia, renda fixa e variável, fundos, posição e movimentação.

• Vivência com dados regulatórios de CVM, BACEN, BSM e ANBIMA, incluindo prazos e formatos de entrega.

• Confluent Cloud ou Confluent Platform, Kafka Streams, ksqlDB ou Apache Flink (incluindo Amazon Managed Service for Apache Flink).

• Kinesis Data Streams e Firehose como alternativa ou complemento ao Kafka na AWS.

• Orquestração com Apache Airflow (MWAA) ou Step Functions e transformação versionada com dbt.

• Ferramentas de qualidade, catálogo e observabilidade (Great Expectations, Soda, DataHub, OpenMetadata, Prometheus, Grafana, CloudWatch).

• Certificações AWS (Data Engineer, Solutions Architect) ou Confluent Certified Developer for Apache Kafka.

Competências comportamentais

• Rigor com correção numérica e com garantias de entrega: em ambiente regulado, evento perdido ou duplicado é dado errado.

• Comunicação escrita clara, capaz de registrar a arquitetura de eventos em documento que sobreviva à saída do autor.

• Autonomia para investigar do painel até o evento de origem sem depender de aprovação a cada passo.

• Postura de referência técnica, com code review, pareamento e mentoria de profissionais pleno e júnior.

• Capacidade de traduzir demandas de negócio em desenho de eventos sustentável, inclusive recusando atalhos que geram dívida técnica.

• Honestidade na estimativa de escopo, risco e prazo no planejamento técnico.

INDISPENSÁVEL Conhecimento/Atuação em:

• Apache Kafka em produção (Amazon MSK ou Confluent), com desenho de tópicos e operação de consumer groups

• Producers e consumers com PySpark (Spark Structured Streaming) integrados ao Kafka

• Ecossistema de dados AWS (MSK, S3, Glue, EMR, IAM)

• Schema Registry e Change Data Capture (Kafka Connect ou Debezium)

• Infraestrutura como código e CI/CD aplicado a dados

Informações adicionais

Atuação: 100%Remoto.

Originally posted on Himalayas