Data Engineer Senior IA (H/F)

Intitulé : Data Engineer Senior IA (H/F)
Expérience : +7 ans minimum
Mode de travail : Hybride
Localisation : Île-de-France
Démarrage : ASAP
Secteur : Services financiers
Environnement : AWS, Spark, Python, SQL, DataOps, Gouvernance Data, CI/CD

Contexte

Dans le cadre de l’accélération de sa stratégie Data, un grand groupe du secteur des services financiers recherche un(e) Data Engineer Senior pour rejoindre sa Direction Data & IA.

Vous interviendrez au sein d'une équipe en charge de la conception, de l'industrialisation et de l'exploitation des plateformes de données destinées à soutenir les enjeux métiers, réglementaires et analytiques de l'entreprise.

Votre rôle consistera à concevoir des architectures Data robustes, piloter l'industrialisation des pipelines de données et garantir la qualité, la gouvernance et la valorisation des données à grande échelle.

Missions principalesPilotage des projets Data

• Gérer un portefeuille de projets Data couvrant l'ensemble du cycle de vie de la donnée : ingestion, transformation, exposition et gouvernance.

• Accompagner les métiers dans l'identification et la formalisation de leurs besoins Data.

• Traduire les besoins fonctionnels, techniques et réglementaires en solutions concrètes et industrialisables.

• Être le référent technique Data auprès des chefs de projet, architectes, développeurs, data analysts, data scientists et parties prenantes métier.

• Piloter les choix techniques et garantir leur cohérence avec les standards de l'entreprise.

Conception et développement des pipelines Data

• Concevoir, développer et maintenir des pipelines d'ingestion de données :

  • Batch

  • APIs

  • Flux programmés

  • Chargements de fichiers

• Développer des traitements ETL / ELT alimentant un Data Lake et des plateformes analytiques.

• Mettre en œuvre les bonnes pratiques de modélisation des données.

• Garantir la performance, la qualité, la résilience et la maintenabilité des traitements.

• Assurer l'industrialisation complète des développements réalisés.

• Challenger les choix techniques et méthodologiques proposés par les autres membres de l'équipe.

Architecture Data et Industrialisation

• Concevoir des architectures Data modernes, modulaires et évolutives.

• Définir et appliquer les principes DataOps :

  • Automatisation

  • Versionning

  • CI/CD

  • Reproductibilité

  • Observabilité

• Favoriser la mutualisation et la réutilisation des composants existants avant tout nouveau développement.

• Construire et maintenir :

  • Pipelines ETL / ELT

  • Chaînes CI/CD

  • APIs de diffusion de données

  • Mécanismes de monitoring et d'alerting

• Collaborer avec les équipes Data, Cloud et IA afin d'harmoniser les pratiques et accélérer les déploiements.

Gouvernance, qualité et conformité des données

• Définir et promouvoir les standards de développement Data.

• Garantir la qualité, la traçabilité et la conformité des données.

• Structurer les pratiques autour de :

  • Git et workflows de développement

  • Tests automatisés

  • Documentation

  • Data Catalog

  • Métadonnées

  • Lignage des données

  • Infrastructure as Code

• Réaliser des audits techniques des pipelines et jeux de données.

• Assurer la conformité des solutions avec les exigences réglementaires et les politiques internes de gouvernance.

• Garantir la reproductibilité attendue lors des contrôles et audits.

Leadership technique et accompagnement

• Encadrer et accompagner les Data Engineers juniors et intermédiaires.

• Participer à la montée en compétences de l'équipe.

• Assurer un rôle de mentor et de référent technique.

• Vulgariser les enjeux Data auprès des utilisateurs métiers.

• Participer aux revues d'architecture et aux processus de validation technique.

• Contribuer à la diffusion des bonnes pratiques Data et DataOps.

Innovation et veille technologique

• Réaliser une veille active sur les technologies Data, Cloud et IA.

• Identifier les opportunités d'amélioration des plateformes existantes.

• Proposer des solutions innovantes répondant aux enjeux métiers.

• Anticiper les évolutions réglementaires et les enjeux liés à la qualité, la gouvernance et la souveraineté des données.