Analista de Engenharia de Dados III
Prefer a full account with a password? Sign Up to Apply
Job Description
Estamos buscando um Engenheiro de Dados Sênior para atuar com grandes volumes de dados em um ambiente altamente escalável, utilizando principalmente Apache Spark/Python em Databricks. Esse profissional será responsável por desenvolver, otimizar e dar manutenção em pipelines de ingestão de dados, com foco em arquiteturas modernas e eficientes.
Entre As Principais Atividades, Destacam-se
• Construção e manutenção de pipelines de ingestão utilizando Autoloader (incremental, schema evolution, otimização de throughput).
• Processamento de dados em larga escala usando Spark Structured Streaming e Spark SQL.
• Implementação de boas práticas de engenharia de dados, como particionamento, otimização com Delta Lake.
• Conhecimento de git controle de versionamento, pull requests.
• Análise, melhoria e otimização de custos e performance em Databricks.
• Implementar Data Quality.
• Criar documentação clara das demandas.
• Colaboração com times de negócio e analytics para garantir que os dados estejam estruturados e disponíveis com segurança.
Requirements
Department: Technology
Function: Information Technology
Experience Level: Not Applicable