Data Engineer / Data Architect Senior (H/F) - Freelance

Taux journalier (TJM): 550

Contexte

Dans le cadre de la modernisation d’une plateforme BI dédiée à l’épargne salariale et retraite, nous recherchons un(e) Data Engineer / Data Architect Senior pour intervenir au sein d’une équipe R&D Data.

La mission consiste à concevoir et mettre en œuvre une architecture Lakehouse moderne afin de remplacer et enrichir les solutions existantes.

Le consultant interviendra en collaboration avec les équipes Data, les métiers et les équipes transverses du groupe.

Missions

• Concevoir l’architecture d’un Lakehouse sur S3

• Développer des pipelines de collecte et de transformation de données

• Mettre en place les systèmes de stockage et d’ordonnancement des traitements

• Développer des traitements en Python / Spark / PySpark

• Assurer la qualité des développements via les tests unitaires

• Participer au monitoring et au suivi des traitements

• Rédiger la documentation technique

• Accompagner les phases de recette avec les utilisateurs et la MOA

• Participer aux échanges avec les équipes métiers et techniques

• Contribuer à l’amélioration continue des processus de développement

Environnement technique

• Python

• Spark / PySpark

• SQL

• Architecture Lakehouse sur S3

• Dagster

• Trino

• Git

• Jenkins

• Jira

• Confluence

• Informatica

• Oracle 19