🔷 Data Engineer – Databricks / PySpark / Lakehouse (H/F)

Dans le cadre d'un projet de transformation data d'envergure au sein d'un grand groupe du secteur de l'énergie, nous recherchons un Data Engineer confirmé pour renforcer une équipe spécialisée dans la modernisation et l'industrialisation de la plateforme de données, articulée autour de Databricks et d'une architecture Lakehouse.

Vous intégrerez une équipe pluridisciplinaire (Data Engineers, Data Analysts, Data Scientists, équipes métier) évoluant dans un environnement Agile, avec des enjeux forts de fiabilité, de performance et de gouvernance des données. La mission couvre à la fois des dimensions d'architecture, de développement de pipelines, d'administration de la plateforme Databricks et de mise en conformité avec les standards de qualité et de sécurité de la donnée. Vous contribuerez activement à la standardisation des pratiques d'ingénierie data, à la documentation des flux et modèles, ainsi qu'à l'accompagnement des utilisateurs dans l'adoption des outils.

Responsabilités :
- Concevoir et développer des pipelines de données robustes sur Databricks (PySpark, Spark SQL, Delta Live Tables)
- Mettre en place et faire évoluer des architectures Lakehouse reposant sur Delta Lake
- Industrialiser les workflows ETL/ELT via Databricks Workflows, en assurant fiabilité, scalabilité et maintenabilité
- Administrer l'espace de travail Databricks : gestion des workspaces, clusters, permissions et accès utilisateurs
- Optimiser les coûts de la plateforme grâce à la configuration fine des clusters, à l'autoscaling et au monitoring
- Implémenter les bonnes pratiques de sécurité et de gouvernance (Unity Catalog, gestion des accès, data lineage)
- Mettre en œuvre des mécanismes de qualité et de validation des données (expectations, tests, contrôles de fraîcheur)
- Documenter les modèles de données et les flux au sein de la plateforme
- Collaborer étroitement avec les équipes Data Analytics, Data Science et métier pour comprendre et répondre aux besoins fonctionnels
- Participer aux revues de code, à la définition des standards et au partage des bonnes pratiques au sein de l'équipe
- Accompagner les utilisateurs dans la montée en compétences et l'adoption de l'environnement Databricks