Data Engineer / Data architect Sénior - Freelance

Dans le cadre du besoin d'un de ses clients, Visian recherche un Data Engineer / Data architect Sénior.

1. OBJET DE LA PRESTATION

Dans le cadre du projet de modernisation de la plateforme Business Intelligence, la prestation consiste à mettre en place des solutions répondant aux besoins couverts par l'existant tout en proposant de nouveaux services. La solution devra s'appuyer sur les outils validés et mis à disposition par le groupe.

La mission sera pilotée par l'équipe Data au sein de la R&D du pôle concerné. Le Data Engineer interviendra en collaboration avec une équipe de 5 personnes, ainsi qu'avec les clients internes et les équipes transverses de la DSI.

Exemples d'applications du domaine d'intervention :

• Architecture : Définition de l'organisation du Lakehouse dans un environnement de stockage objet

• Chargement : Développement de pipelines de traitement de données (Spark, PySpark, Python)

• Ordonnancement : Gestion des flux via un orchestrateur de workflows

• Restitution : Mise à disposition de la donnée brute et création de rapports sur un outil de dataviz, sur la base du Lakehouse

L'objectif principal de la prestation est la mise à disposition de données structurées à destination de l'équipe métier. À ce titre, les travaux porteront sur :

• Le développement d'une solution de collecte de données

• Le développement d'un système de stockage de la donnée

• La documentation des développements

• La réalisation de tests unitaires

• La mise en place d'un suivi des traitements

• L'assistance à la recette par la MOA et les utilisateurs

• Des comptes rendus réguliers aux pilotes sur l'avancement du projet et les points de blocage

• Des études menées avec les équipes transverses de la DSI

2. ENVIRONNEMENT FONCTIONNEL

La prestation se déroulera au sein du service IT en charge de la maintenance applicative du système d'information concerné.

3. ENVIRONNEMENT TECHNIQUE

Les langages de programmation utilisés seront Python, Spark, PySpark et SQL. La gestion de version sera assurée via Git, l'intégration continue via Jenkins, le ticketing via Jira et la documentation via Confluence. Le poste de travail sera sous Windows 10 avec WSL.

La plateforme actuelle s'appuie sur un ETL propriétaire, un moteur de reporting et une base de données relationnelle. La plateforme cible reposera sur un orchestrateur de workflows, un moteur de requêtes distribué et un système de stockage objet.

4. LIVRABLES ATTENDUS

• Respect du planning détaillé validé

• Estimation des charges MOE

• Mise en œuvre des solutions développées

• Programme testé et prêt à la recette utilisateurs / MOA

• Tests unitaires des développements réalisés

• Suivi d'avancement des tâches en cours

• Documentation technique

• Amélioration continue des processus de développement