Data Engineer Microsoft Fabric H/F

Le besoin

Contexte de la mission

Le client construit et industrialise une nouvelle plateforme Data sous Microsoft Fabric. L'objectif est de renforcer une équipe déjà structurée autour d'un Tech Lead avec un Data Engineer senior capable de prendre en charge des sujets complexes, tout en restant très opérationnel dans le développement.

Il ne s'agit pas d'un besoin orienté principalement Power BI ni d'une mission de cadrage ou de POC. Le consultant interviendra directement sur la construction, la migration, la fiabilisation et l'industrialisation de la plateforme Data.

• Mettre en oeuvre des architectures Medallion Bronze/Silver/Gold ;

• Gérer les chargements complets et incrémentaux, les MERGE, le dédoublonnage et l'historisation des données ;

• Mettre en place des contrôles automatisés de qualité : nullité, unicité, intégrité référentielle, formats, fraîcheur et réconciliation source/cible ;

• Organiser le traitement, la traçabilité et la reprise des données rejetées ;

• Optimiser les traitements PySpark et les tables Delta : jointures, partitionnement, shuffles, data skew, petits fichiers et performances ;

• Contribuer à l'industrialisation avec Git, CI/CD et environnements Dev/Test/Prod ;

• Participer aux sujets de monitoring, sécurité, gouvernance et gestion des accès ;

• Collaborer avec le Tech Lead et les autres Data Engineers afin d'harmoniser les pratiques de développement.