Data Engineer Databricks (H/F)

La BU Data, AI & Innovation s’appuie sur des plateformes modernes et cloud telles que Databricks, ainsi que sur les principaux hyperscalers du marché (Azure, AWS, GCP). Nous accompagnons nos clients sur l’ensemble de la chaîne de valorisation de la donnée : modernisation des plateformes data, analytics avancée, industrialisation des dataflows, gouvernance et optimisation des performances.
Dans le cadre de notre développement, nous recherchons un Data Engineer expert Databricks. Vous rejoindrez des projets à forte valeur ajoutée, d’envergure internationale au sein d’environnements clients variés (finance, industrie, retail, mobilité, énergie…). Vous interviendrez sur la conception, le développement, l’industrialisation et la maintenance de pipelines de données fiables, performants et évolutifs, en vous appuyant principalement sur Databricks.
Vous serez un acteur clé de la qualité des données, de la collaboration inter‑équipes et de l’amélioration continue des pratiques et des architectures mises en œuvre.
Missions principales
Développement de dataflows sur Databricks :

• Concevoir, développer et optimiser des pipelines de données sur Databricks (Batch & Streaming).
• Manipuler des données à grande échelle via PySpark ou Scala.
• Implémenter des transformations avancées et garantir la qualité, la robustesse et la performance des traitements.

Industrialisation & bonnes pratiques :

• Mettre en œuvre les standards du Delta Lake, du Data Lakehouse et des architectures cloud.
• Développer dans une logique DataOps : CI/CD, automatisation, tests, versionning.
• S’assurer du respect des bonnes pratiques en sécurité, gouvernance et optimisation des coûts.

Participation aux projets dans des contextes variés

• Intervenir dans des contextes métiers multiples : finance, industrie, retail, mobilité, énergie…
• Adapter les patterns de développement aux contraintes spécifiques (volumétrie, temps réel, SLA…).
• Travailler en collaboration avec Data Architects, Data Analysts, Data Scientists et équipes Cloud.

Expertise & accompagnement

• Apporter un rôle de référent technique auprès des équipes de développement.
• Participer à l’amélioration continue : documentation, partage de bonnes pratiques, guidelines, accélérateurs internes.
• Contribuer aux études de cadrage, aux choix technologiques et aux prototypes/POC.
• Certifications Databricks souhaitées.

Compétences techniques indispensables

• Maîtrise avancée de Databricks (Workspaces, Jobs/Workflows, Delta Lake, Unity Catalog).
• Excellente pratique de PySpark et/ou Scala dans un contexte Big Data distribué.
• Solides compétences en traitements distribués, optimisation Spark et gestion de la performance.
• Connaissance d’un Cloud majeur : Azure (prioritaire), AWS ou GCP.
• Maîtrise des outils et pratiques CI/CD (Azure DevOps, GitHub Actions, Jenkins…).
• Connaissance de Terraform ou équivalent (un plus).

Expérience

• Minimum 7 ans d’expérience en Data Engineering.
• Expériences significatives dans plusieurs contextes projets, montrant votre capacité à vous adapter et à industrialiser des pipelines complexes.
• Expérience démontrée sur la mise en place de dataflows Databricks (batch & streaming).
• Anglais courant.

Qualités humaines

• Rigueur, autonomie, sens du détail et du travail bien fait.
• Esprit d’équipe et envie de partager vos bonnes pratiques.
• Capacité à évoluer dans des environnements agiles et exigeants.