Lead Data Orchestration Engineer spécialisé sur Apache Airflow et AWS MWAA/sa

Lead Data Orchestration Engineer spécialisé sur Apache Airflow et AWS MWAA

La mission se structure autour de quatre axes :

Axe 1 — Optimisation architecturale
Optimiser et faire évoluer les mécanismes d'orchestration existants pour permettre le passage à l'échelle et réduire les coûts d'exploitation (temps de résolution d'incidents, effort d'ajout de nouveaux pays).

Axe 2 — Sécurisation et résilience
Renforcer la robustesse de la plateforme face à la charge et aux défaillances : observabilité de bout en bout, politique de rotation des secrets, isolation des flux, capacité de reprise automatique.

Axe 3 — Étude et migration vers une infrastructure cible
L'audit a mis en évidence les limites structurelles d'AWS MWAA pour nos besoins (contraintes de scaling, manque de flexibilité sur la configuration, coûts). Le Lead Data Orchestration Engineer devra étudier les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect, ou autre solution adaptée à nos process) et piloter la migration vers l'infrastructure retenue si pertinent.

Axe 4 — Autonomie des équipes
Former et structurer les équipes Dev et Ops pour qu'elles puissent opérer, diagnostiquer et faire évoluer la plateforme en autonomie sur le long terme.

Séniorité : 5 ans d'expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer).

Compétences techniques requises :

• Maîtrise du modèle d'exécution Airflow : scheduler, executor, pools, triggers, deferrable operators

• Expérience de tuning et d'optimisation de plateformes Airflow à l'échelle (200+ DAGs en production)

• Expertise AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM

• Connaissance d'alternatives à MWAA : Airflow sur ECS/EKS, Astronomer, ou orchestrateurs modernes (Dagster, Prefect) — expérience de migration d'un orchestrateur vers un autre fortement appréciée

• Expérience avec des DAG Factories dynamiques (génération de DAGs à partir de configurations) — capacité à faire évoluer et optimiser une factory existante

• Patterns de résilience : retry strategies, Dead Letter Queues, circuit breakers, isolation des flux

• Observabilité : métriques, dashboards, alerting, routage d'incidents par criticité

• Python avancé (plugins custom, operators, sensors)

• Infrastructure as Code (Terraform) — connaissance souhaitée

Compétences transverses :

• Capacité à concevoir et faire appliquer des standards techniques (code reviews, patterns, conventions)

• Expérience de mentorat et de transfert de compétences auprès d'équipes mixtes (Dev + Ops)

• Capacité à piloter un programme d'optimisation technique (priorisation, suivi, reporting)

• Autonomie et force de proposition

Profil recherché

Séniorité : 5 ans d'expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer).

Compétences techniques requises :

• Maîtrise du modèle d'exécution Airflow : scheduler, executor, pools, triggers, deferrable operators

• Expérience de tuning et d'optimisation de plateformes Airflow à l'échelle (200+ DAGs en production)

• Expertise AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM

• Connaissance d'alternatives à MWAA : Airflow sur ECS/EKS, Astronomer, ou orchestrateurs modernes (Dagster, Prefect) — expérience de migration d'un orchestrateur vers un autre fortement appréciée

• Expérience avec des DAG Factories dynamiques (génération de DAGs à partir de configurations) — capacité à faire évoluer et optimiser une factory existante

• Patterns de résilience : retry strategies, Dead Letter Queues, circuit breakers, isolation des flux

• Observabilité : métriques, dashboards, alerting, routage d'incidents par criticité

• Python avancé (plugins custom, operators, sensors)

• Infrastructure as Code (Terraform) — connaissance souhaitée