Tech Lead Microsoft Fabric H/F

Détail du poste

Le besoin

Contexte de la mission

Dans le cadre de l'évolution et de l'industrialisation de sa plateforme Data, notre client recherche un Tech Lead Microsoft Fabric pour accompagner son Data Office sur plusieurs chantiers structurants.

L'objectif est de renforcer l'architecture, la fiabilité des flux d'alimentation et la sécurisation des données au sein de l'écosystème Microsoft Fabric.

Le consultant interviendra aussi bien sur les choix d'architecture et la définition des solutions techniques que sur leur implémentation opérationnelle.

Missions et responsabilités

1. Architecture et gouvernance Microsoft Fabric

- Auditer et challenger l'organisation actuelle des workspaces Microsoft Fabric.
- Définir une architecture cible adaptée aux domaines métiers et aux différents environnements (développement, test, production).
- Revoir les modèles de sécurité, la gestion des droits d'accès et les mécanismes RLS (Row-Level Security).
- Formaliser les conventions de nommage et les principes de gouvernance.
- Définir et exécuter un plan de migration si des évolutions d'architecture sont nécessaires.

2. Industrialisation des flux d'alimentation incrémentale (Delta)

- Concevoir une stratégie d'ingestion incrémentale adaptée à des systèmes sources hétérogènes.
- Définir des mécanismes de détection des créations, modifications et suppressions de données, y compris en l'absence de clés primaires fiables ou de CDC natif.
- Mettre en oeuvre des clés de substitution et des mécanismes de suivi des changements.
- Gérer l'historisation des données en couche Silver.
- Garantir l'idempotence, la fiabilité et la capacité de rejeu des traitements.
- Développer et industrialiser les solutions retenues dans Microsoft Fabric.

3. Automatisation de la pseudonymisation des données

- Mettre en oeuvre un mécanisme générique de pseudonymisation des données sensibles, piloté par les métadonnées.
- Exploiter le référentiel existant de classification des données (niveaux C0 à C3).
- Automatiser l'application des règles de pseudonymisation sur l'ensemble des flux d'alimentation concernés.
- Implémenter le mécanisme HMAC-SHA256 avec gestion sécurisée du secret via Azure Key Vault.
- Assurer le traitement et l'orientation des données selon leur niveau de sensibilité.
- Contribuer à la sécurisation des traitements dans le respect des exigences RGPD.

Le profil recherché

Profil recherchéNous recherchons un Tech Lead / Lead Data Engineer / Data Architect disposant d'une solide expertise de l'écosystème Microsoft Fabric et d'une expérience significative dans la conception et l'industrialisation de plateformes Data.Compétences techniques indispensables :Expertise Microsoft Fabric : workspaces, Lakehouse, pipelines et architecture Data.Très bonne maîtrise de SQL et des problématiques d'intégration de données.Expérience avancée en Data Engineering, notamment sur les stratégies d'alimentation incrémentale et les mécanismes CDC / Delta.Maîtrise des principes d'historisation, de gestion des suppressions et de reprise des traitements.Solides connaissances des architectures de données et de la gouvernance des accès.Compétences fortement appréciées :Python / PySpark et Delta Lake.Architecture Medallion (Bronze, Silver, Gold).Azure Key Vault et mécanismes de pseudonymisation HMAC-SHA256.Sécurité des données, classification des informations et exigences RGPD.Expérience sur des environnements complexes avec plusieurs systèmes sources et SGBD hétérogènes.Qualités attendues :Capacité à prendre du recul sur une architecture existante et à proposer des arbitrages techniques.Forte autonomie, esprit d'analyse et capacité de résolution de problématiques complexes.Approche pragmatique et opérationnelle, avec une réelle capacité à développer et déployer les solutions proposées.Capacité à documenter ses choix et à échanger avec les équipes techniques et métiers.Livrables attendusArchitecture cible des workspaces Fabric documentée et mise en oeuvre.Plan de migration si nécessaire.Stratégie d'alimentation incrémentale documentée par typologie de source et implémentée.Mécanisme générique de pseudonymisation piloté par les métadonnées, opérationnel sur les flux concernés.

Mais aussi...

Taux journalier :Salaire selon profil