Data Engineer / Data Architect - Sénior H/F

Notre client dans le secteur Banque et finance recherche un/une Data Engineer / Data Architect - SéniorH/F

Description de la mission :

Data Engineer / Data Architect - Sénior

Contexte et objectif de la mission

Dans le cadre de la modernisation d’une plateforme BI au sein d’une activité d’épargne salariale et retraite, une prestation externe est recherchée pour mettre en place des solutions répondant aux besoins couverts par l’existant et permettant de proposer de nouveaux services. La solution devra utiliser les outils validés et mis à disposition par le groupe.

La mission sera pilotée par l’équipe Coeur-Data au sein de la R&D du domaine. Le consultant interviendra en collaboration avec une équipe de 5 personnes ainsi qu’avec les clients internes et les équipes transverses.

Exemples d’applications du domaine d’intervention

• Architecture : définition de l’organisation du Lakehouse dans S3
• Chargement : utilisation de pipelines Spark, PySpark et Python
• Ordonnancement : Dagster
• Restitution : mise à disposition de la donnée brute et création de rapports sur un outil de dataviz à définir sur la base du Lakehouse

Missions principales

L’objectif principal de la prestation est la mise à disposition de données structurées à destination de l’équipe marketing. Dans ce cadre, il conviendra de réaliser :

• Le développement d’une solution de collecte de données
• Le développement d’un système de stockage de la donnée
• La documentation des développements
• La réalisation de tests unitaires
• La mise en place d’un suivi des traitements
• L’assistance à la recette par la MOA / les utilisateurs
• Des comptes rendus aux pilotes sur l’avancement du projet et les blocages rencontrés
• Des études avec les équipes transverses

Environnement fonctionnel

La prestation se déroulera au sein du service IT en charge de la maintenance applicative d’une solution d’épargne salariale et retraite.

Environnement technique

• Langages de programmation : Python, Spark, PySpark, SQL
• Outil de gestion de version : Git
• Intégration continue : Jenkins
• Ticketing : Jira
• Documentation : Confluence
• Poste de travail : Windows 10 avec WSL
• Outils de la plateforme actuelle : Informatica, DAC, outil de BI, outil de reporting, Oracle 19
• Outils de la plateforme cible : Dagster, Trino, S3

Résultats attendus / livrables

• Respect du planning détaillé validé
• Estimation des charges MOE
• Mise en œuvre des solutions développées
• Programme testé et prêt à la recette par les utilisateurs / MOA
• Tests unitaires des développements effectués
• Suivi d’avancement des tâches du projet en cours
• Documentation technique
• Amélioration continue des processus de développements

Profil recherché / prérequis indispensables

• Python, Spark appliqué à la data
• Machine learning appliqué à la donnée (scikit-learn, feature engineering)
• Relationnel pour les échanges avec le métier
• Outils Informatica
• Outils LLM / GenAI pour l’accès et l’exploration de la donnée

Compétences / Qualités indispensables :

Python, Spark / PySpark, Architecture Lakehouse sur S3, SQL, Informatica, LLM / GenAI pour la donnée

Compétences / Qualités qui seraient un + :

PYTHON

Informations concernant le télétravail :

2 jours par semaine