Senior Data Engineer Databricks / PySpark - Freelance

Contexte

Pour accompagner un grand groupe international dans la modernisation de sa plateforme Data, nous recherchons un Senior Data Engineer hands-on. Vous intégrerez une équipe produit composée d’un Product Manager, de Data Engineers et d’un Data Quality Manager. L’objectif est de garantir l’accessibilité, la fiabilité et la qualité de données à fort enjeu métier.

Missions

• Concevoir, développer et maintenir des pipelines robustes et performants

• Moderniser une stack legacy vers les nouveaux standards de la Data Platform

• Développer et optimiser les traitements en SQL et Python/PySpark

• Industrialiser, documenter et tester les modèles avec dbt

• Concevoir et monitorer des DAGs complexes avec Airflow ou Astro

• Assurer un RUN de qualité selon le principe « You build it, you run it »

• Contribuer aux choix techniques, à la qualité du code et aux pratiques CI/CD

• Garantir la qualité, la fiabilité et la gouvernance des données

• Collaborer avec les équipes produit, métier, Infra et OPS dans un environnement Agile

Outils & Environnement

• Databricks

• SQL avancé et optimisation des traitements

• Python et PySpark

• dbt

• Airflow ou Astro

• Git et les pratiques CI/CD

• RUN, monitoring et résolution d’incidents en production

• Connaissance d’AWS et de Scala (un plus)

Conditions de travail

• Démarrage souhaité : ASAP

• Durée : Mission longue