Expert Data Engineer Python - Apache Airflow - H/F

Détail du poste

Le besoin

Contexte de la mission

Pour le compte d'un grand groupe international évoluant dans les services financiers et l'assurance, nous recherchons un expert Python et Apache Airflow pour renforcer une équipe Data. La mission s'inscrit dans le développement et l'exploitation d'une plateforme de données cloud, destinée à collecter, transformer, fiabiliser et mettre à disposition des données pour différents usages analytiques et applicatifs.

L'environnement est distribué et international. Le consultant travaillera en collaboration avec les équipes Data Engineering, les équipes utilisatrices des données et les interlocuteurs techniques.

Objectif de la mission

Concevoir, développer, automatiser et maintenir des traitements de données robustes à l'aide de Python et d'Apache Airflow, en veillant à leur fiabilité, leur performance, leur traçabilité et leur bonne intégration dans l'écosystème data existant.

Responsabilités principales

Développement Python

Développer et maintenir des traitements de données clairs, réutilisables et testables.

Concevoir des composants permettant de collecter, nettoyer, transformer et contrôler les données.

Appliquer les bonnes pratiques de développement : qualité du code, tests, documentation et gestion des erreurs.

Analyser les incidents et corriger les anomalies rencontrées lors de l'exécution des traitements.

Orchestration des traitements avec Apache Airflow

Concevoir et maintenir des workflows automatisés pour enchaîner les différentes étapes de traitement des données.

Définir les dépendances, calendriers d'exécution, reprises sur erreur et mécanismes de surveillance.

Suivre les exécutions, diagnostiquer les échecs et améliorer la stabilité des workflows.

Optimiser les traitements afin de respecter les délais d'exécution et les niveaux de service attendus.

Intégration et circulation des données

Mettre en place des flux de collecte, de transformation et de mise à disposition des données.

Interagir avec des bases de données et des services exposés par API.

Écrire et optimiser des requêtes SQL pour extraire, contrôler ou transformer les données.

Contribuer à la cohérence des échanges entre les différentes briques de la plateforme.

Le profil recherché

Profil recherchéQualité, industrialisation et exploitationMettre en place des contrôles pour détecter les données manquantes, incohérentes ou inattendues.Participer à l'automatisation des tests et au déploiement des évolutions.Utiliser les outils de conteneurisation et de déploiement disponibles dans l'environnement.Documenter les traitements, les dépendances et les procédures d'exploitation.Contribuer à l'amélioration continue de la performance, de la sécurité et de la maintenabilité.Collaboration avec les équipesTravailler avec les ingénieurs data, les équipes applicatives et les utilisateurs des données.Clarifier les besoins, proposer des solutions adaptées et partager les choix techniques.Participer aux réunions d'équipe et aux pratiques de travail agiles.Collaborer avec des interlocuteurs situés dans plusieurs pays.Compétences requisesExpertise confirmée en Python pour le développement de traitements de données.Maîtrise d'Apache Airflow pour la création, l'orchestration et la supervision de workflows.Bonne maîtrise de SQL et expérience avec des bases de données relationnelles.Compréhension des architectures data et des chaînes de traitement de bout en bout.Expérience des environnements cloud ou distribués.Pratique des tests, du contrôle de version et des processus automatisés de livraison.Capacité à analyser des incidents et à améliorer la fiabilité des traitements.Environnement techniquePython, Apache Airflow, SQL, bases de données, API, pipelines de données, environnement cloud, outils d'intégration et de déploiement continus, conteneurs (Docker) et orchestration de conteneurs (Kubernetes) selon le périmètre de la mission.Profil recherchéExpérience significative en développement Python et en ingénierie des données.Expérience concrète de mise en oeuvre et d'exploitation d'Apache Airflow en environnement professionnel.Autonomie, rigueur et capacité à investiguer des problèmes complexes.Esprit d'équipe, communication claire et sens du service.Une expérience dans un environnement international et agile est appréciée.LanguesFrançais courant ; anglais professionnel pour les échanges avec les équipes internationales.Informations sur la missionClient : grand groupe international du secteur des services financiers / assurance (identité anonymisée).Durée, localisation, rythme de présence et date de démarrage : à préciser.Fiche de poste - Expert Python / Apache AirflowMin 6 ans d'xp

Mais aussi...

Salaire :60K