Senior Data Engineer – Optimisation & Scalabilité Pipeline PySpark (Forecast ML) - Freelance
Salaire du marché
Basé sur 38 offres pour ce poste (Senior, Île-de-France, 3 dernières semaines). Fourchette habituelle 445€/j–550€/j, médiane 490€/j. Cette offre (650€/j) est au-dessus de la fourchette.
Description du poste
Contexte
Grand acteur international du retail développant une pipeline de prévision de la demande déployée à l’échelle mondiale (Europe, Asie, Inde) avec extension internationale en cours.
Nous recherchons un Senior Data Engineer pour optimiser, stabiliser et scaler une pipeline PySpark en production, dans un environnement data à forte volumétrie.
Enjeux principaux
• Audit et refonte des modules data engineering
• Optimisation performance (compute, partitioning, joins, cache, skew)
• Industrialisation et adaptation multi-régions
• Réduction de la dette technique
• Renforcement des tests (unitaires, intégration)
• Amélioration monitoring & CI/CD
• Migration Unity Catalog
• Collaboration étroite avec Data Scientists & ML Engineers
Stack
Python, PySpark, Databricks
AWS (S3, ECR)
Airflow
Docker
GitHub / GitHub Actions
UV / Poetry
Profil recherché
• Expérience solide en optimisation de pipelines distribuées
• Maîtrise Spark / volumétrie importante
• Expérience cloud AWS
• Forte capacité à structurer et prioriser les activités Run & Stabilisation
• Sensibilité Agile (Scrum) appréciée
Modalités
Mission long terme
Régie
On-site Paris (remote occasionnel)
Exigences du poste
Stack technique :
Plan d'action
Un plan personnalisé pour postuler intelligemment à cette offre.
Publié par
Intéressé par cette offre ?
Cliquez sur "Postuler" pour accéder à l'offre.