305 - Lead Data Orchestration Engineer / Expert Apache Airflow & AWS MWAA

position : Data Airflow expert 

Informations mission :

• Localisation / Site : Sochaux (TT à déterminer) / Île-de-France ou hybride selon accord

• TJM : 750 € HT/jour

• Date de démarrage : ASAP

• Date de fin : 31/12/2026 (renouvelable)

• Langue de travail : Français / Anglais professionnel

Synthèse de la mission : Nous recherchons un Lead Data Orchestration Engineer expert sur Apache Airflow et AWS MWAA pour renforcer l'équipe Data Platform de notre client dans le secteur financier.

La plateforme d’orchestration (Airflow MWAA v2.10.3) gère des pipelines de données bancaires à travers 9 pays européens. Suite à un audit technique et une première phase de stabilisation, la mission porte sur l'optimisation, la sécurisation durable de la plateforme et l'étude d'une infrastructure cible plus adaptée (passage à l'échelle, renforcement de l'observabilité et montée en compétence des équipes).

Objectifs et axes de la mission : La mission se structure autour de quatre axes majeurs :

1. Optimisation architecturale : Faire évoluer la DAG Factory existante, migrer vers des mécanismes natifs (Datasets), optimiser les performances (parse-time/runtime) et intégrer la validation automatisée en CI/CD.

2. Sécurisation et résilience : Renforcer la robustesse face à la charge (observabilité de bout en bout, rotation des secrets, isolation des flux, politique d'alerting et runbooks).

3. Étude et migration vers une infrastructure cible : Étudier les limites d'AWS MWAA, benchmarker les alternatives (Airflow sur ECS/EKS, Astronomer, Dagster, Prefect, etc.), produire une recommandation argumentée (coûts/bénéfices) et piloter la migration vers l'infrastructure retenue si pertinent.

4. Autonomie des équipes : Former et structurer les équipes Dev et Ops (environ 10 personnes) pour assurer l'opérabilité, le diagnostic et l'évolution autonome de la plateforme à long terme.

Profil recherché :

• Séniorité : 5 ans d'expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer).

Compétences techniques requises :

• Maîtrise avancée du modèle d'exécution Airflow (scheduler, executor, pools, triggers, deferrable operators).

• Expérience de tuning et d'optimisation de plateformes Airflow à l'échelle (200+ DAGs en production).

• Expertise AWS (MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM) et compétences en Infrastructure as Code (Terraform).

• Connaissance des alternatives à MWAA (Airflow sur ECS/EKS, Astronomer, orchestrateurs modernes) et appétence pour les projets de migration.

• Expérience avec des DAGs Factory dynamiques et mise en place de patterns de résilience (retry strategies, DLQ, circuit breakers).

• Python avancé (plugins custom, operators, sensors).

Compétences transverses :

• Capacité à concevoir et faire appliquer des standards techniques (code reviews, patterns).

• Expérience de mentorat et de transfert de compétences auprès d'équipes mixtes (Dev + Ops).

• Capacité à piloter un programme d'optimisation technique (priorisation, suivi, reporting).

• Autonomie, leadership technique et force de proposition.

Profil recherché

Profil recherché :

• Séniorité : 5 ans d'expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer).

Compétences techniques requises :

• Maîtrise avancée du modèle d'exécution Airflow (scheduler, executor, pools, triggers, deferrable operators).

• Expérience de tuning et d'optimisation de plateformes Airflow à l'échelle (200+ DAGs en production).

• Expertise AWS (MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM) et compétences en Infrastructure as Code (Terraform).

• Connaissance des alternatives à MWAA (Airflow sur ECS/EKS, Astronomer, orchestrateurs modernes) et appétence pour les projets de migration.

• Expérience avec des DAGs Factory dynamiques et mise en place de patterns de résilience (retry strategies, DLQ, circuit breakers).

• Python avancé (plugins custom, operators, sensors).

Compétences transverses :

• Capacité à concevoir et faire appliquer des standards techniques (code reviews, patterns).

• Expérience de mentorat et de transfert de compétences auprès d'équipes mixtes (Dev + Ops).

• Capacité à piloter un programme d'optimisation technique (priorisation, suivi, reporting).

• Autonomie, leadership technique et force de proposition.