Data Engineer Senior - Freelance - Freelance

Contexte

L’équipe Supply Zone Forecast développe et maintient les modèles de prévision de la demande et des ventes pour l’ensemble des produits d’une grande entreprise de distribution, par centres d’approvisionnement continentaux. Le pipeline est aujourd’hui en production sur l’Europe, la Chine et l’Inde, avec pour ambition en 2026 d’étendre la couverture.

Dans ce cadre, un Data Engineer Senior expérimenté sur PySpark et l’optimisation de pipelines à grande échelle est recherché. Au-delà des compétences techniques, un profil capable de structurer et prioriser les activités de Run & Stabilisation, avec une sensibilité Agile (Scrum), est valorisé.

Stack technique : Docker, UV/Poetry, AWS (S3, ECR), Databricks, Airflow, PySpark, Python, GitHub

Missions

Objectifs

• Optimisation & refonte pipeline

  • Auditer et refactorer les modules de data engineering : Refining, Covariates, Modelling, Exposition

  • Améliorer les performances (compute, partitioning, joins, cache, skew)

  • Renforcer modularité, lisibilité et évolutivité

• Scalabilité & industrialisation

  • Adapter la pipeline pour un déploiement mondial (multi-régions, volumétrie)

  • Optimiser coûts / performance

  • Structurer un framework flexible pour l’ajout de nouvelles features

• Robustesse & qualité

  • Renforcer tests unitaires, d’intégration et fonctionnels

  • Améliorer stabilité, monitoring et bonnes pratiques CI/CD

  • Réduire la dette technique (le legacy)

• Collaboration

  • Travailler étroitement avec Data Scientists et ML Engineers

  • Assurer transfert de compétences et montée en maturité engineering

  • Apprécier les compétences Agile (Scrum) pour piloter les priorités techniques et coordonner la stream

Livrables

• Plan d’optimisation priorisé avec gains mesurables

• Pipeline refactorée, plus performante et scalable

• Migration à Unity Catalog

• Tests renforcés et documentation centralisée

• Architecture prête pour extension globale worldwide

Compétences techniques

• Programmation Python : Expert

• Apache Airflow : Expert

• AWS EC2 : Expert

• UV/Poetry : Expert

• GitHub Actions : Expert

• PySpark : Expert

• Docker : Expert

• Databricks : Confirmé

• AWS S3 : Expert

• GitHub : Expert

• AWS : Expert