Data engineer ( Python & PySpark & Databricks & data factory & ADLS & Azure & DevOps )

Contexte et objectifs de la mission :

Le projet Quantum a pour objectif la création et l'évolution d'un produit de données à destination des actuaires, qui utiliseront ces données pour l'entraînement de leurs modèles (tarifaires par exemple).

Le candidat rejoindra une équipe de 4 data engineers (dont un lead) pour participer à la mise en place de ce produit de données.

Livrables attendus :

Missions :

Proposer et valider des solutions techniques :

- Élaborer des propositions techniques pour répondre aux besoins métier, en prenant en compte la stratégie d’alimentation (full, delta, reprise, etc.), la modélisation des données (architecture lake house en approche médaillon) et les solutions techniques performantes

- Anticiper et adresser les enjeux de performance (optimisation de code, FinOps)

- Soumettre ces propositions à la validation du lead

Mettre en œuvre des solutions performantes dans un cadre Agile :

- Participer aux ateliers métier pour définir précisément les besoins

- Analyser et enrichir les User Stories rédigées par les PO à la suite des ateliers, en proposant des améliorations ou compléments pour faciliter le développement

- Développer des pipelines de traitement de données performants, conformes aux spécifications

- Respecter les standards de développement établis avec le lead

- Mettre en place des tests unitaires pour garantir la qualité du code

- Soutenir les testeurs dans leur validation et leur travail

- Documenter l’ensemble des solutions implémentées