Lead Data Orchestration Engineer H/F

Contexte de la mission

Dans le cadre du renforcement de son équipe Data Platform, notre client recherche un Lead Data Orchestration Engineer, expert Apache Airflow et AWS MWAA.

La plateforme actuelle orchestre des pipelines de données bancaires dans 9 pays européens. Après une première phase de stabilisation, l'objectif est désormais d'optimiser son architecture, de renforcer sa résilience et d'étudier une éventuelle migration vers une infrastructure plus adaptée.

Missions et responsabilités

1. Optimisation de l'architecture Airflow

• Faire évoluer et optimiser la DAG Factory existante.

• Migrer les dépendances inter-DAGs vers les mécanismes natifs Airflow (Datasets).

• Améliorer les performances et la scalabilité de la plateforme.

• Automatiser la validation des DAGs dans les pipelines CI/CD.

2. Sécurisation et résilience

• Renforcer l'observabilité : monitoring, dashboards, alerting.

• Implémenter une politique de rotation des secrets.

• Optimiser le capacity planning, le scaling et la gestion des ressources.

• Améliorer l'isolation réseau et les mécanismes de reprise automatique.

• Formaliser les procédures de gestion des incidents (runbooks).

3. Étude et migration d'infrastructure

• Réaliser un benchmark des alternatives à AWS MWAA (ECS/EKS, Astronomer, Dagster, Prefect).

• Évaluer les coûts, les performances et les risques associés.

• Définir une architecture cible et un plan de migration.

• Piloter les POC et la migration progressive si une nouvelle solution est retenue.

• Garantir la continuité de service pendant la transition.

4. Accompagnement et montée en compétences

• Former et accompagner les équipes Dev et Ops (environ 10 personnes).

• Définir et faire appliquer les standards techniques.

• Structurer une organisation Data Platform favorisant l'autonomie des équipes.

• Assurer le transfert de connaissances et le mentorat.

Compétences techniques indispensables

• Apache Airflow : expertise avancée (scheduler, executor, pools, triggers, deferrable operators, Datasets).

• AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM.

• Python avancé : développement de plugins, operators et sensors personnalisés.

• Optimisation Airflow : expérience sur des plateformes de grande envergure (200+ DAGs en production).

• DAG Factory : conception et optimisation de génération dynamique de DAGs.

• Résilience et observabilité : monitoring, alerting, retry strategies, Dead Letter Queues, circuit breakers.

• Architecture Cloud : capacité à évaluer et concevoir des solutions d'orchestration évolutives.

Compétences appréciées

• Expérience d'une migration d'orchestrateur ou d'infrastructure Airflow.

• Connaissance d'Airflow sur ECS/EKS, Astronomer, Dagster ou Prefect.

• Maîtrise de Terraform (Infrastructure as Code).

• Expérience en environnement bancaire, international ou multi-pays.

Compétences / Qualités indispensables :

Apache Airflow, AWS MWAA ou Google Cloud Composer, Data Orchestration, Lead Data Engineer, Python, DAG Factory, AWS, ECS, EKS, Astronomer, Dagster, Prefect, DataOps, Terraform, CI/CD, CloudWatch