Data Engineer - Databricks (F/H)

Le poste en quelques mots

Les équipes Atos à Montpellier recherchent un Data Ingénieur - Databricks (F/H) pour intervenir sur un projet client phare au sein de nos locaux.

 

Ce que vous allez faire si vous nous rejoignez

Les Data Engineers interviendront sur la conception et l’industrialisation des flux de données dans un environnement Databricks. 

 

Leurs responsabilités incluent : 

·       Développer des pipelines de données en PySpark (batch et potentiellement streaming). 

·       Implémenter des transformations complexes sur des données volumineuses 

·       Gérer l’ingestion multi-sources (fichiers, API, bases externes). 

·       Gérer les reprises sur incident et la résilience des pipelines 

·       Implémenter des contrôles qualité (complétude, cohérence, fraîcheur). 

·       Documenter les flux et structurer les bonnes pratiques 

·       Participer à l’amélioration continue des pratiques data. 

 

Compétences techniques : 

• Expertise avancée Databricks (clusters, jobs, notebooks, Delta Lake). 

• Très bonne maîtrise de Python et PySpark. 

• Solide expérience en Data Engineering (ETL/ELT, pipelines distribués). 

• Maîtrise des architectures Lakehouse et Data Lake. 

• Expérience en optimisation de performances Spark. 

• Connaissance des outils d’orchestration (Airflow, Data Factory, Workflows). 

• Bonne compréhension des enjeux de gouvernance et qualité des données. 

• Expérience en exposition de données pour Power BI