Data Engineer Senior - Industrialisation & Migration Airflow / Astronomer - Freelance

Taux journalier (TJM): 650

Notre client dans le secteur Banque et finance recherche un Data Engineer Senior — Industrialisation & Migration Airflow / Astronomer H/F

Contexte de la mission

L'équipe data de l'organisation fonctionne actuellement sans outil d'orchestration ETL : l'ensemble des pipelines de données a été développé manuellement en Python, sans framework d'industrialisation. Dans une logique de scalabilité, de fiabilisation et de maintenabilité, la mission vise à migrer l'intégralité de l'existant vers Apache Airflow (Astronomer).

Le Data Engineer recruté sera responsable de concevoir et d'industrialiser from scratch la nouvelle architecture d'orchestration, en reprenant les pipelines Python existants pour les transformer en DAGs robustes, monitorés et déployables en continu.

Missions principales

• Auditer l'existant : cartographier les scripts Python actuels, identifier les dépendances, les points de fragilité et les priorités de migration
• Concevoir l'architecture cible Airflow / Astronomer : structure des DAGs, gestion des connexions, secrets et environnements
• Migrer progressivement les pipelines existants vers des DAGs industrialisés, testés et documentés
• Développer et maintenir des pipelines de données streaming avec Kafka ainsi que des pipelines batch / asynchrones classiques
• Mettre en place les bonnes pratiques DataOps : CI/CD des DAGs, tests, monitoring, alerting et gestion des environnements dev / staging / prod
• Travailler dans des environnements big data distribués et volumineux
• Participer à terme à l'intégration de Starburst dans l'architecture data, dans une logique de fédération de requêtes / lakehouse
• Garantir la qualité, la performance et la fiabilité des pipelines de bout en bout
• Être force de proposition sur les choix techniques et les standards de l'équipe