AWS Data Engineer | Senior (Remote)

.

• Planejar e executar a migração de workloads, notebooks e dados entre workspaces Databricks;
• Refatorar e otimizar Databricks Notebooks (Python/PySpark/SQL) para garantir compatibilidade e performance no novo ambiente;
• Implementar arquitetura Delta Lake com foco em otimização de custos e performance na AWS;
• Implementar o Unity Catalog para gerenciamento centralizado de metadados, linhagem de dados e controle de acesso (ACLs);
• Definir políticas de governança, garantindo conformidade com LGPD/GDPR e segurança a nível de linha/coluna;
• Assegurar a qualidade e integridade dos dados durante e após o processo de migração;
• Criar pipelines de ingestão de dados provenientes de arquiteturas baseadas em microsserviços;
• Gerenciar a extração e transformação de dados de bancos NoSQL, especificamente MongoDB, para o Data Lake;
• Orquestrar fluxos de dados utilizando ferramentas nativas da AWS ou Databricks Workflows;
• Disponibilizar datasets otimizados e "gold-standard" para consumo no Tableau;
• Colaborar com analistas de negócios para garantir que a modelagem dos dados atenda aos requisitos de performance dos dashboards no Tableau.

• Experiência comprovada em desenvolvimento, administração de clusters e uso extensivo de Databricks Notebooks;
• Histórico prático em migrações de Data Lakes ou movimentação de workloads entre ambientes (ex: Legacy Hive Metastore para Unity Catalog);
• Forte conhecimento em implementação de Unity Catalog, linhagem de dados e gestão de permissões;
• Ecossistema AWS: Experiência sólida com S3, IAM, EC2 e serviços de rede relacionados a dados;
• NoSQL & Microsserviços: Experiência prática com manipulação de documentos JSON e extração de dados do MongoDB;
• Capacidade de integrar Databricks com Tableau (conectores, otimização de queries, publicação de fontes de dados);
• Domínio de Python (PySpark);
• SQL avançado.

• Diferenciais :
• Certificação Databricks Data Engineer (Associate ou Professional).
• Experiência com Infraestrutura como Código (Terrafor).