Engenharia de Dados Sênior| Remota - 134795 (Alphaville - Barueri, BR, 06.454-00

O que buscamos:

Buscamos um(a) Engenheiro(a) de Dados Sênior para integrar o time de Lakehouse Platform, atuando na construção de um Enterprise Lakehouse baseado em Databricks, estruturado sob os princípios de Data Mesh. Procuramos um profissional com sólida experiência em plataformas de dados, governança, automação e arquitetura moderna, capaz de contribuir na definição dos padrões, frameworks e fundações tecnológicas que suportarão a estratégia de dados da organização.

Responsabilidades:

• Colaborar na construção e evolução da plataforma Enterprise Lakehouse baseada em Databricks e Data Mesh;

• Implementar e administrar o Unity Catalog como camada central de governança de dados;

• Estruturar o compartilhamento de dados entre domínios utilizando Delta Sharing;

• Desenvolver padrões de ingestão de dados em batch e streaming para utilização pelos domínios de negócio;

• Construir e evoluir a arquitetura medalhão (Bronze, Silver e Gold) para processamento de dados;

• Desenvolver frameworks de Data Contracts e Data Quality para a plataforma;

• Estruturar e automatizar esteiras de CI/CD para ambientes Databricks;

• Implementar automações de infraestrutura utilizando práticas de Infrastructure as Code (IaC);

• Integrar a plataforma Databricks ao ecossistema Data Mesh existente na AWS;

• Garantir interoperabilidade entre catálogos, serviços e modelos de governança de dados;

• Participar de decisões de arquitetura, definição de padrões técnicos e evolução da plataforma;

• Produzir documentação técnica e apoiar o desenvolvimento técnico do time;

• Contribuir para Observabilidade, monitoramento, performance e governança dos ambientes de dados.

Requisitos Obrigatórios:

• Experiência sólida com a plataforma Databricks, incluindo administração de WorkSpaces, clusters, Jobs e workflows;

• Experiência com Unity Catalog, incluindo governança, modelo de permissões, lineage, external locations e integração com Storage;

• Conhecimento avançado em Delta Lake e arquitetura medalhão (Bronze, Silver e Gold);

• Experiência na implementação de processos de ingestão de dados em batch e streaming;

• Vivência com CI/CD para Databricks, utilizando Databricks Asset Bundles, Repos e ferramentas como GitHub Actions, Azure DevOps ou similares;

• Experiência com serviços AWS, incluindo S3, Glue, Lake Formation, EMR (EC2 e Serverless), Athena, Lambda, IAM, DMS, Kinesis, Step Functions, SNS, SQS e EventBridge;

• Conhecimento em Infrastructure as Code utilizando Terraform, incluindo o Provider Databricks;

• Proficiência em Python e PySpark para desenvolvimento de pipelines e automações;

• Conhecimento avançado em SQL;

• Experiência com Data Contracts e plataformas de metadados, como OpenMetadata;

• Experiência com monitoramento e Observabilidade utilizando DataDog;

• Conhecimento em arquitetura e governança de dados em ambientes corporativos;

• Capacidade de atuar em ambientes colaborativos, conduzindo discussões técnicas e decisões arquiteturais;

• Vivência em iniciativas de Data Mesh, incluindo domínios de dados, Data Products e governança federada.

Requisitos Diferenciais:

• Vivência em iniciativas de Data Mesh, incluindo domínios de dados, Data Products e governança federada;

• Experiência no mercado financeiro, crédito ou serviços financeiros;

• Conhecimento em observabilidade e monitoramento de plataformas de dados, métricas de jobs e qualidade de dados;

• Experiência com práticas de FinOps aplicadas a ambientes Databricks, incluindo monitoramento e otimização de custos;

• Experiência com Delta Sharing em cenários cross-company, cross-cloud ou cross-region;

• Certificações AWS, como Data Engineer Associate ou Solutions Architect;

• Certificações Databricks, como Data Engineer Associate, Data Engineer Professional ou Platform Administrator;

• Conhecimento em padrões abertos de contratos de dados, como Open Data Contract Standard (ODCS/ODPS);

• Experiência com plataformas modernas de governança, compartilhamento e monetização de dados;

• Vivência na construção de plataformas corporativas de dados em larga escala.

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;

• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;

• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;

• Tenha habilidades de resolução de problemas;

• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;

• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Big enough to deliver – small enough to care.

#VempraGFT

#VamosVoarJuntos

#ProudToBeGFT

Originally posted on Himalayas