Data Engineer / Data Architect Senior H/F - Freelance

Taux journalier (TJM): 550
Dans le cadre de la modernisation d'une plateforme décisionnelle au sein d'un acteur de l'épargne salariale et de la retraite, nous recherchons un Data Engineer / Data Architect Senior.
La mission s'inscrit dans un programme de transformation visant à faire évoluer une plateforme BI existante vers une architecture moderne de type Lakehouse, tout en garantissant la continuité des services actuellement proposés.
Vous rejoindrez l'équipe Cœur-Data, composée de cinq personnes, et travaillerez en étroite collaboration avec les équipes métier, la MOA et les équipes techniques transverses.
L'objectif principal sera de concevoir et mettre à disposition des données structurées, fiables et exploitables par l'équipe Marketing.
Vous interviendrez notamment sur :
*
La définition de l'architecture et de l'organisation du Lakehouse ;
*
La conception de solutions de collecte, de stockage et de transformation des données ;
*
La migration et la modernisation progressive des traitements existants ;
*
L'industrialisation et le suivi des pipelines de données ;
*
La mise à disposition de données brutes et transformées pour les usages analytiques et la datavisualisation.
En tant que Data Engineer / Data Architect Senior, vous serez amené à :
*
Concevoir l'organisation des données et des flux au sein d'un environnement Lakehouse basé sur S3 ;
*
Développer des pipelines de traitement avec Python, Spark et PySpark ;
*
Mettre en place et maintenir les traitements d'ingestion et de transformation ;
*
Participer à l'ordonnancement des traitements avec Dagster ;
*
Contribuer à l'exposition des données via Trino et les outils de datavisualisation ;
*
Développer les solutions de collecte et de stockage répondant aux besoins métiers ;
*
Mettre en place les tests unitaires et les contrôles nécessaires à la qualité des développements ;
*
Assurer le suivi des traitements et identifier les éventuels incidents ou blocages ;
*
Rédiger et maintenir la documentation technique ;
*
Participer à la recette avec la MOA et les utilisateurs ;
*
Estimer les charges et contribuer au suivi de l'avancement du projet ;
*
Réaliser des études en collaboration avec les équipes transverses ;
*
Participer à l'amélioration continue des processus de développement et d'exploitation.
*
Python ;
*
Apache Spark / PySpark ;
*
*
Amazon S3 ;
*
Dagster ;
*
Trino ;
*
Git ;
*
Jenkins.
*
Informatica ;
*
*
Oracle 19 ;
*
Outils BI et de reporting.
*
Jira ;
*
Confluence ;
*
Windows 10 avec WSL.
Vous disposez d'une expérience significative en Data Engineering, en conception de plateformes de données et en architecture Data.
Vous maîtrisez notamment :
*
Python et SQL ;
*
Spark et PySpark appliqués aux problématiques Data ;
*
La conception et l'industrialisation de pipelines de données ;
*
Les architectures Data Lake ou Lakehouse ;
*
Les solutions de stockage objet, idéalement Amazon S3 ;
*
Les environnements Oracle et les outils Informatica ;
*
Les pratiques de développement logiciel : Git, intégration continue, tests unitaires et documentation ;
*
Le suivi de production et la supervision des traitements.
Une expérience sur les sujets suivants serait particulièrement appréciée :
*
Dagster ;
*
Trino ;
*
Datavisualisation et mise à disposition de données analytiques ;
*
Machine learning appliqué à la donnée, notamment avec scikit-learn et le feature engineering ;
*
Outils LLM ou GenAI pour l'accès, l'exploration ou la valorisation de la donnée.
*
Solide capacité