Data Engineer Senior — Industrialisation & Migration Airflow / Astronomer

Notre client dans le secteur Banque et finance recherche un/une Data Engineer Senior — Industrialisation & Migration Airflow/Astronomer H/F

Description de la mission :

Contexte de la mission

L'équipe data de l'organisation fonctionne actuellement sans outil d'orchestration ETL : l'ensemble des pipelines de données a été développé manuellement en Python, sans framework d'industrialisation. Dans une logique de scalabilité, de fiabilisation et de maintenabilité, la mission vise à migrer l'intégralité de l'existant vers Apache Airflow (Astronomer).
Le Data Engineer recruté sera responsable de concevoir et d'industrialiser from scratch la nouvelle architecture d'orchestration, en reprenant les pipelines Python existants pour les transformer en DAGs robustes, monitorés et déployables en continu.

Missions principales

• Auditer l'existant : cartographier les scripts Python actuels, identifier les dépendances, les points de fragilité et les priorités de migration
• Concevoir l'architecture cible Airflow / Astronomer : structure des DAGs, gestion des connexions, secrets et environnements
• Migrer progressivement les pipelines existants vers des DAGs industrialisés, testés et documentés
• Développer et maintenir des pipelines de données streaming avec Kafka ainsi que des pipelines batch / asynchrones classiques
• Mettre en place les bonnes pratiques DataOps : CI/CD des DAGs, tests, monitoring, alerting et gestion des environnements dev / staging / prod
• Travailler dans des environnements big data distribués et volumineux
• Participer à terme à l'intégration de Starburst dans l'architecture data, dans une logique de fédération de requêtes / lakehouse
• Être force de proposition sur les choix techniques et les standards de l'équipe

Compétences / Qualités indispensables :

Python avancé, Apache Airflow / Astronomer, Kafka, Kubernetes, DataOps (CI/CD, monitoring), Architecture data et industrialisation

Compétences / Qualités qui seraient un + :

Notions de bases de données graphe (type Neo4j)