Lead Data Orchestration Engineer / Expert Apache Airflow & AWS

Dans le cadre du renforcement d’une équipe Data Platform dans le secteur automobile et financier, nous recherchons un Lead Data Orchestration Engineer / Expert Apache Airflow pour accompagner l’optimisation, la sécurisation et l’évolution d’une plateforme d’orchestration Data à forte volumétrie.

La plateforme Apache Airflow sous AWS MWAA orchestre actuellement des pipelines de données bancaires couvrant 9 pays européens.

Vous interviendrez autour de 4 axes majeurs :

1. Optimisation de la plateforme Airflow

• Optimisation d’une plateforme de 200+ DAGs en production

• Évolution et optimisation de la DAG Factory

• Migration des dépendances inter-DAGs vers les Datasets Airflow

• Optimisation des performances au parse-time et runtime

• Mise en place de tests automatisés des DAGs en CI/CD

2. Sécurisation & résilience

• Capacity planning et tuning Airflow

• Gestion des pools, scaling et rétention des logs

• Rotation des secrets

• Amélioration de l’observabilité et de l’alerting

• Mise en œuvre de mécanismes de résilience : retry strategies, DLQ, circuit breakers, isolation des flux

3. Étude et migration de la plateforme

• Benchmark des alternatives à AWS MWAA

• Étude d’architectures Airflow sur ECS/EKS, Astronomer, Dagster, Prefect

• Réalisation de POC et recommandation d’une architecture cible

• Pilotage d’une éventuelle migration jusqu’à la mise en production

4. Leadership & transmission

• Définition et application des standards techniques

• Mentorat des équipes Dev & Ops

• Formation d’une dizaine de collaborateurs

• Accompagnement des équipes vers des compétences Data Engineering / DataOps

Profil recherché

• 5 ans minimum d’expérience sur Apache Airflow

• Expérience significative sur AWS MWAA ou Google Cloud Composer

• Expertise du fonctionnement interne d’Airflow : Scheduler, Executors, Pools, Triggers, Deferrable Operators

• Expérience sur des plateformes Airflow à grande échelle

• Très bon niveau en Python

• Solides compétences AWS

• Expérience en DAG Factory et orchestration Data

• Une expérience de migration d’orchestrateur est fortement appréciée

• Capacité à prendre un véritable rôle de Lead technique, avec autonomie et force de proposition