Expert Data Engineer Python / Apache Airflow – - CDI

Contexte de la mission

Pour le compte d’un grand groupe international évoluant dans les services financiers et l’assurance, nous recherchons un expert Python et Apache Airflow pour renforcer une équipe Data. La mission s’inscrit dans le développement et l’exploitation d’une plateforme de données cloud, destinée à collecter, transformer, fiabiliser et mettre à disposition des données pour différents usages analytiques et applicatifs.

L’environnement est distribué et international. Le consultant travaillera en collaboration avec les équipes Data Engineering, les équipes utilisatrices des données et les interlocuteurs techniques.

Objectif de la mission

Concevoir, développer, automatiser et maintenir des traitements de données robustes à l’aide de Python et d’Apache Airflow, en veillant à leur fiabilité, leur performance, leur traçabilité et leur bonne intégration dans l’écosystème data existant.

Responsabilités principales

Développement Python

Développer et maintenir des traitements de données clairs, réutilisables et testables.

Concevoir des composants permettant de collecter, nettoyer, transformer et contrôler les données.

Appliquer les bonnes pratiques de développement : qualité du code, tests, documentation et gestion des erreurs.

Analyser les incidents et corriger les anomalies rencontrées lors de l’exécution des traitements.

Orchestration des traitements avec Apache Airflow

Concevoir et maintenir des workflows automatisés pour enchaîner les différentes étapes de traitement des données.

Définir les dépendances, calendriers d’exécution, reprises sur erreur et mécanismes de surveillance.

Suivre les exécutions, diagnostiquer les échecs et améliorer la stabilité des workflows.

Optimiser les traitements afin de respecter les délais d’exécution et les niveaux de service attendus.

Intégration et circulation des données

Mettre en place des flux de collecte, de transformation et de mise à disposition des données.

Interagir avec des bases de données et des services exposés par API.

Écrire et optimiser des requêtes SQL pour extraire, contrôler ou transformer les données.

Contribuer à la cohérence des échanges entre les différentes briques de la plateforme.