Data Engineer Airflow / Astronomer

Dans le cadre d’un programme de modernisation de sa plateforme Data, notre client recherche un Data Engineer spécialisé en orchestration de pipelines de données pour renforcer ses équipes.

La mission s’inscrit dans un projet de migration de workflows d’orchestration actuellement gérés sous Azure Data Factory (ADF) vers Astronomer / Apache Airflow 3.

Intégré au sein d’une équipe Data Engineering, vous interviendrez en renfort opérationnel auprès des équipes existantes. Rattaché au Principal Data Engineer, vous participerez activement à la migration, à la refonte et à l’optimisation des workflows et pipelines de données.

Le poste est fortement orienté delivery, avec une collaboration étroite avec les Data Engineers de l’équipe.

• Concevoir, développer et maintenir des DAGs et des pipelines de données sous Apache Airflow / Astronomer.

• Migrer et adapter les workflows d’orchestration existants vers la nouvelle plateforme.

• Modifier et faire évoluer les étapes d’ingestion des données dans Astronomer.

• Définir et mettre en œuvre les stratégies d’ordonnancement et d’orchestration des workflows.

• Adapter, si nécessaire, les flux de transformation existants sous dbt.

• Réaliser les tests techniques et fonctionnels, valider les développements et contribuer à leur mise en production.

• Rédiger la documentation technique des développements réalisés.

• Identifier et mettre en œuvre des optimisations en matière de performance, de coûts, de fiabilité et de maintenabilité.

• Assurer le transfert de compétences auprès des membres de l’équipe.

Profil recherché

Vous justifiez de 3 à 5 ans d’expérience en Data Engineering, avec une solide maîtrise d’Apache Airflow et une expérience concrète dans la conception et l’évolution de pipelines de données.

Vous êtes à l’aise dans des environnements techniques exigeants et appréciez le travail en équipe, avec une forte orientation vers la réalisation et la livraison de solutions opérationnelles.

Vous disposez notamment des compétences suivantes :

• Apache Airflow 3 / Astronomer : conception, développement et orchestration de DAGs.

• dbt : adaptation et gestion des transformations de données.

• Snowflake : manipulation et exploitation de données.

• Azure Blob Storage : gestion des flux et des données stockées.

• Python et SQL : développement et manipulation de données.

• Expérience sur un projet de migration d’orchestrateur ou de modernisation de pipelines Data.

• Expérience avec Azure Data Factory (ADF).

• Connaissance des problématiques de migration de workflows entre différentes plateformes d’orchestration.