Data Engineer H/F

Votre mission (... si vous l'acceptez !) :

• Concevoir et implémenter des pipelines de données scalables à partir de templates génériques dans un environnement Big Data.
• Contribuer à la construction d'une vision 360° des utilisateurs et à l'enrichissement de la connaissance client via des partenaires data.
• Transformer et moderniser des flux legacy vers une stack data lakehouse moderne (Databricks / Delta Lake / AWS).
• Garantir la qualité, la fiabilité et la performance des datasets (data quality, optimisation Spark / SQL).
• Documenter les flux et datasets et accompagner les utilisateurs dans la compréhension et l'usage des données.
• Participer à l'amélioration continue des pratiques de développement : clean code, tests, CI/CD, data monitoring.
• Contribuer à la communauté data via le partage de connaissances et les bonnes pratiques.

Votre quotidien sera rythmé par :

• Développer et maintenir des pipelines de données dans un environnement AWS / Databricks / Spark.
• Mettre en place et orchestrer des workflows de traitement de données avec Airflow.
• Optimiser les traitements PySpark et SQL afin d'améliorer les performances des flux.
• Appliquer et suivre les règles de qualité de données pour garantir la fiabilité des datasets.
• Documenter les flux et datasets pour faciliter leur compréhension et leur usage.
• Répondre aux questions des utilisateurs concernant les données mises à disposition.
• Participer aux échanges techniques de l'équipe et contribuer aux bonnes pratiques de développement (tests, CI/CD, clean code).

Environnement technique :

• AWS (S3, Lambda, Glue), Databricks
• Apache Spark (PySpark), SQL
• Data Lakehouse, Delta Lake
• Apache Airflow
• Collibra, Data Quality monitoring
• Clean Code, CI/CD, tests unitaires et d'intégration
• GitHub, Agile, Mob Programming
• outils d'IA pour accélérer le développement (AI assistants)

Les petits plus du projet :

• Un projet data stratégique autour de la connaissance client 360°.
• Une stack data moderne (AWS, Databricks, Spark, Delta Lake).
• Des volumes de données importants et des enjeux de performance et de qualité.
• Une équipe data collaborative et orientée bonnes pratiques (clean code, CI/CD, partage de connaissances).