Data Engineer / Data Architect – Sénior

Description du poste

Description du poste

Dans le cadre du projet de modernisation de la plateforme BI d’Amundi Technology, le consultant Data Engineer / Data Architect Senior interviendra au sein de l’équipe Cœur-Data de la R&D Épargne Salariale et Retraite. Il travaillera en collaboration avec une équipe de cinq personnes ainsi qu’avec les clients internes et les équipes transverses de l’entreprise.

Missions principales

• Concevoir et mettre en œuvre des solutions de gestion et d’exploitation de données répondant aux besoins métiers existants et futurs.

• Participer à la définition de l’architecture du Lakehouse sur S3.

• Développer des pipelines de traitement de données en Python, Spark et PySpark.

• Mettre en place l’ordonnancement des traitements avec Dagster.

• Structurer, stocker et rendre accessibles les données aux équipes métiers, notamment marketing.

• Concevoir des rapports et solutions de restitution des données à partir du Lakehouse.

• Développer des solutions de collecte et de stockage des données.

• Réaliser les tests unitaires et assurer le suivi des traitements.

• Produire la documentation technique des développements.

• Accompagner les utilisateurs et la MOA lors des phases de recette.

• Assurer un reporting régulier sur l’avancement du projet et les éventuels blocages.

• Collaborer avec les équipes transverses sur les études et évolutions de la plateforme.

Environnement technique

• Langages : Python, Spark, PySpark, SQL

• Versioning : Git

• CI/CD : Jenkins

• Gestion de projet : Jira

• Documentation : Confluence

• Environnement : Windows 10 + WSL

• Outils existants : Informatica, DAC, OBIEE, Eclipse BIRT, Oracle 19

• Plateforme cible : Dagster, Trino, S3

Compétences recherchées

• Expertise en Data Engineering (Python, Spark, architecture de données).

• Bonne connaissance des environnements BI et Data Lake/Lakehouse.

• Expérience en Machine Learning appliqué à la donnée (Scikit-Learn, Feature Engineering).

• Capacité à échanger avec les métiers et à comprendre leurs besoins.

• Maîtrise des outils Informatica.

• Connaissance des outils LLM / GenAI pour l’accès et l’exploration de la donnée.

Livrables attendus

• Solutions développées et déployées.

• Programmes testés et prêts pour la recette utilisateur.

• Documentation technique complète.

• Suivi d’avancement des travaux.

• Contribution à l’amélioration continue des processus de développement.

En résumé : il s'agit d'une mission de Data Engineer / Data Architect Senior orientée modernisation d’une plateforme BI vers une architecture Lakehouse moderne, avec un fort volet développement Python/Spark, architecture data, industrialisation et collaboration avec les équipes métiers