Senior Data Engineer (Databricks & dbt)

Sobre a Indicium AI

Somos uma consultoria de dados e IA com mais de 600 pessoas, operando nos EUA, Brasil e Reino Unido. Somos parceiros Gold da Databricks, parceiros do Claude Partner Network da Anthropic e Advanced Tier da AWS. Nosso ecossistema de parcerias é parte central da nossa estratégia de crescimento.

Somos uma empresa global com oportunidades de atuação em países da Europa e Américas e entusiasta por talentos com disponibilidade para crescer globalmente com a nossa equipe. Por favor, sinalize na aplicação de candidatura se você possuí disponibilidade para atuação no exterior e se possuí passaporte europeu.

Sobre a posição

Responsável pelo desenvolvimento, implementação e manutenção de soluções de dados escaláveis, confiáveis e de alta performance. Irá projetar e construir pipelines de dados, garantindo a integração, segurança e confiabilidade de dados de diversas fontes para atender às necessidades de aplicações internas e externas, bem como para suportar análises avançadas e a tomada de decisão estratégica da empresa.

Suas funções incluem:

• Realizar a ingestão/Integrar dados de diversas fontes (bancos de dados relacionais e NoSQL, APIs de serviço interno e externos, arquivos e outros.) e garantir a qualidade e consistência dos dados.

• Implementar soluções de armazenamento de dados (Data Warehouses, Data Lakes) e otimizar o desempenho de consultas e processamento de dados.

• Administrar o carregamento de dados em storages distribuídos (sejam eles relacionais ou não relacionais)

• Agregar dados com ferramentas distribuídas que conseguem lidar com grandes volumes de dados

• Projetar, desenvolver e manter pipelines de dados (ELT) robustos e eficientes, utilizando as melhores práticas de engenharia de dados.

• Garantir que todo o processo de ELT esteja funcionando por meio de monitoramento e métricas como SLA.

• Monitorar a execução do ELT hospedados na nuvem e on-premises.

• Garantir a segurança e governança dos dados, implementando políticas de acesso e qualidade de dados.

• Provisionar e/ou manter a infraestrutura de dados, garantindo a escalabilidade, disponibilidade e segurança.

• Automatizar o provisionamento e gerenciamento da infraestrutura utilizando ferramentas de Infrastructure as Code (IaC).

• Disseminação de boas práticas de Devops e Dataops no time.

• Colaborar com as equipes para fornecer soluções de dados que atendam às necessidades do negócio.

• Pesquisar e implementar novas tecnologias e ferramentas para melhorar a eficiência e escalabilidade das soluções de dados.

• Ter liberdade e pensamento crítico para propor e questionar soluções relacionadas à engenharia de dados.

• Documentar processos, arquiteturas e soluções de dados.

• Construir e administrar pipelines de dados em tempo-real (streaming)

Requisitos Básicos

• Experiência: Mínimo de 6 anos em linguagens de programação (Python, Scala, Java, JavaScript ou Ruby).

• Databricks: Conhecimento avançado na plataforma, preferencialmente com certificação Data Engineer Associate.

• SQL: Domínio avançado para manipulação e análise de grandes volumes de dados.

• dbt: Conhecimento avançado na ferramenta para modelagem e transformação de dados.

• Versionamento: Experiência avançada com Git (GitHub, GitLab, Bitbucket).

• Algoritmos: Sólido conhecimento em algoritmos e estruturas de dados aplicado à otimização de performance.

• Ecossistema Big Data: Experiência com Spark, Kafka, Presto e/ou Airflow, com autonomia para criar datasets agregados.

• Data Warehousing: Experiência com o funcionamento de ferramentas como Google BigQuery, Redshift ou Snowflake.

• Infraestrutura e Nuvem: * Experiência avançada em infraestrutura de nuvem (AWS ou GCP).

  • Conhecimento em Infrastructure as Code (IaC), como Terraform.

  • Vivência com processamento de dados em nuvem (Azure, Snowflake ou Databricks).

• Inglês: Nível Intermediário a Avançado (conversação).

Diferenciais 

• Certificações Databricks: Nível Data Engineer Professional.

• Certificações dbt: Nível dbt Developer ou dbt Architect.

• Certificações de Nuvem: Nível Professional/Specialty ou equivalente (AWS Certified Data Engineer, Google Professional Data Engineer, etc.).

• Certificações Acadêmicas/Técnicas: Certificações específicas em Algoritmos e Estrutura de Dados de alto nível.

• Inglês Avançado/Fluente (conversação).

Conheça já alguns benefícios que a Indicium oferece!

Nossa cultura

• Gestão moderna, transparente e inclusiva

• Ambiente dinâmico e aberto à inovação e criatividade

• Cultura data driven 

• Trabalho com autonomia e engajamento

• Ambiente leve, descontraído e time movido a desafios

• Crescimento acelerado da empresa

• Home office e flexibilidade de horário

Para seu desenvolvimento profissional

• Plano de carreira estruturado

• Cultura de feedback e desenvolvimento

• Avaliação do período de experiência e feedback one-on-one nos 45/90 dias e ciclo de avaliação trimestral e semestral 

• Programa de apadrinhamento - referência no time responsável por auxiliar no período de experiência

• Time experiente, colaborativo e disposto a crescer

• Projetos relevantes e de grande impacto

• Trabalho com metodologias ágeis e participação em equipes multifuncionais

• Aula de conversação em inglês gratuita e semanal

• Programa de Certificações - subsídio integral com prêmios pontuais

• Possibilidade de ser tutora ou tutor, e instrutora ou instrutor da Indicium Academy com pagamento de remuneração por hora/aula

• Programa de iniciativas “Tech Tracks”

• Programa Databloggers - Incentivar a escrita de conteúdos pelos profissionais da Indicium

• Programa de Desenvolvimento de Líderes

• Onboarding estruturado

• Incentivo à educação

• Budget por área para integração e capacitação

Para sua saúde e seu bem-estar

• Sede em Floripa, São Paulo e Nova York 

• Snacks e bebidas na sede

• Programa de pontos com premiações

• Programa Oxigênio - Apoio psicológico

• Day off no aniversário

• Ações de endomarketing presenciais, híbridas e remotas

• Happy hour toda sexta-feira

• Noite de jogos toda primeira quinta-feira do mês de forma remota e toda última quinta-feira do mês de forma presencial

• Parceria com empresas com descontos especiais

• Wellhub (Plataforma corporativa de atividade física com foco na qualidade de vida, saúde e bem-estar)

• Plano de Saúde Bradesco

• Vale Alimentação e Flexível via cartão Flash

• Zenklub - Serviço de psicoterapia para colaboradores

• Onhappy - plataforma de descontos em viagens

Diferenciais

• Bonificação anual de um salário ou mais

• Programa de indicação - Pagamento de gratificação no valor de R$ 250,00 no terceiro mês de empresa da pessoa indicada

• Licença maternidade estendida para 6 meses - somos uma empresa cidadã