Data Engineer Senior Microsoft Fabric - Run Industrialisation & Évolutions Data H/F

Détail du poste

Le besoin

Contexte et enjeux

Dans le cadre de la transformation digitale d'un groupe industriel international multi-sites, nous recherchons un Data Engineer Senior Microsoft Fabric, disposant d'une forte expertise en développement et en exploitation de plateformes Data en production.

La mission consiste à reprendre en main une plateforme Data Groupe existante, à fiabiliser son fonctionnement, à résoudre les incidents prioritaires et à accompagner son évolution tout en renforçant l'autonomie des équipes internes.

La plateforme repose sur Microsoft Fabric, avec une architecture Lakehouse organisée en couches Bronze, Silver et Gold. Elle consolide des données provenant de plusieurs ERP, de Salesforce, de fichiers et de sources historiques, afin d'alimenter notamment Power BI.

L'environnement connaît plusieurs enjeux :

- Stabilisation des pipelines, des traitements batch et de la qualité des données.
- Résolution des incidents de chevauchement de batchs, de données incomplètes et de corrections manuelles.
- Industrialisation de l'intégration Salesforce.
- Résorption des alimentations directes de Power BI via Google Sheets et fichiers Budget/Forecast.
- Accompagnement de la transition depuis MyReport et SSIS.
- Préparation des futures transformations ERP, CRM et digitales.
- Clarification de l'articulation entre Fabric, les ERP et les solutions ESB/iPaaS.
- Renforcement des pratiques de développement, de supervision, de déploiement et de transfert de compétences.

Point essentiel : nous recherchons un véritable développeur Data senior, capable d'intervenir personnellement dans le code, les notebooks et les pipelines. Il ne s'agit ni d'une mission d'audit, ni d'un poste d'architecte exclusivement orienté conseil.

Missions détaillées

1. Reprise en main technique de Microsoft Fabric

- Analyser les workspaces, Lakehouses, notebooks, pipelines, modèles sémantiques, sources, règles de sécurité et documentation existante.
- Exécuter les traitements existants, reproduire les anomalies et identifier leurs causes techniques.
- Cartographier les flux de bout en bout, depuis les sources jusqu'aux restitutions Power BI.
- Identifier les contournements, dépendances, traitements manuels et composants insuffisamment documentés.
- Diagnostiquer les flux Salesforce, notamment leurs mécanismes actuels d'alimentation par fichiers, feuilles intermédiaires ou modèles sémantiques.
- Évaluer l'ordonnancement, les fenêtres batch, les capacités, la supervision, la journalisation, les alertes, les mécanismes de reprise et la gestion des secrets.
- Analyser les transformations et contrôles de qualité entre Bronze, Silver et Gold.
- Évaluer la maintenabilité du code SQL, Python/PySpark et des notebooks : modularité, conventions, versioning et dette technique.
- Identifier les dépendances avec MyReport, SSIS, ERP, Salesforce, MuleSoft et les futures solutions d'intégration.
- Construire un backlog technique priorisé et développer immédiatement les premiers correctifs ou quick wins.

2. Stabilisation et sécurisation du RUN

- Corriger les incidents affectant la disponibilité, la complétude et la fiabilité des données.
- Stabiliser les pipelines et leurs dépendances.
- Éliminer les chevauchements critiques entre traitements batch.
- Mettre en oeuvre des mécanismes de monitoring, alerting, logging et rejouabilité.
- Industrialiser les contrôles de fraîcheur, de cohérence et de complétude des données.
- Formaliser les procédures de reprise après incident.
- Définir les niveaux de service adaptés aux flux : temps réel, quasi temps réel, batch ou asynchrone.
- Mettre en place des indicateurs de RUN : succès/échecs, durée, volumétrie, fraîcheur, incidents et dette technique.
- Sécuriser les accès, comptes techniques, secrets et permissions selon le principe du moindre privilège.
- Optimiser les performances, la capacité et la fiabilité de l'exploitation.

3. Industrialisation des flux et résorption de la dette technique

- Développer et fiabiliser les mécanismes d'ingestion Salesforce vers Microsoft Fabric.
- Remplacer progressivement les alimentations manuelles ou fragiles, après validation des solutions cibles.
- Préparer la réintégration des sources alimentant directement Power BI, notamment Google Sheets et les fichiers Budget/Forecast.
- Fiabiliser les connexions avec les ERP hétérogènes.
- Définir et documenter les patterns d'intégration adaptés : API, fichiers, CDC, batch, streaming ou autres mécanismes.
- Participer à la transition depuis MyReport et SSIS en garantissant la continuité de service.
- Distinguer les traitements relevant de la plateforme analytique Fabric de ceux relevant de l'intégration applicative ou du middleware.
- Collaborer avec l'architecte SI sur les arbitrages concernant les futurs ERP, les ESB/iPaaS et les échanges bidirectionnels.

4. Développement de nouveaux flux et évolutions Data

- Prendre en charge les évolutions techniques de bout en bout : conception utile au développement, codage, tests, recette, correction, déploiement et suivi post-production.
- Développer des notebooks, pipelines et scripts SQL/Python/PySpark.
- Construire des flux robustes, maintenables, supervisés et versionnés.
- Définir des critères d'acceptation et des jeux de tests reproductibles.
- Réaliser les tests unitaires, d'intégration, de non-régression, de volumétrie et de reprise sur erreur.
- Contribuer à l'évolution des modèles Gold et des modèles sémantiques Power BI.
- Veiller à la cohérence des indicateurs, avec validation des règles fonctionnelles par les équipes métier.
- Préparer l'intégration des futurs ERP et applications.
- Encadrer les usages Data en libre-service afin d'éviter la multiplication de flux non gouvernés et de solutions de shadow BI.

5. Industrialisation, documentation et transfert de compétences

- Versionner les développements dans les référentiels internes.
- Mettre en oeuvre les bonnes pratiques Git, revue de code, CI/CD et gestion des environnements.
- Préparer les packages de déploiement, paramètres par environnement, contrôles avant/après mise en production, release notes et procédures de rollback.
- Conserver les preuves de tests et d'exécution.
- Produire une documentation technique et d'exploitation en français.
- Formaliser les procédures de supervision, de reprise et de résolution des incidents courants.
- Travailler en binôme avec les équipes internes.
- Organiser des revues de code et des sessions de transfert sur les composants réellement développés.
- Construire une matrice de compétences et suivre la progression de l'autonomie des équipes.

Stack technique

Domaine

Technologies et pratiques

Plateforme Data

Microsoft Fabric, OneLake, Lakehouse

Orchestration

Fabric Data Factory, pipelines, notebooks

Développement

SQL, Python, PySpark

Architecture

Medallion Bronze/Silver/Gold, modélisation analytique

BI

Power BI, modèles sémantiques, DAX

Sources

Salesforce, ERP multiples, fichiers, Google Sheets

Intégration

API, CDC, batch, streaming, événements, ESB/iPaaS, MuleSoft

Legacy

SSIS, SQL Server, MyReport, DWH historique

DevOps

Git, Azure DevOps, CI/CD, gestion des environnements

Gouvernance

Data Quality, catalogue, lignage, Microsoft Purview

Exploitation

Monitoring, alerting, logs, gestion de capacité, reprise sur erreur, rollback

Livrables et résultats attendus

La mission est pilotée par la DSI, qui conserve la responsabilité du backlog, des priorités, des choix d'architecture et des arbitrages. Les responsables métier valident les règles de gestion et les indicateurs.

Les livrables attendus comprennent :
- Dossier de prise en main : cartographie, inventaire technique, dépendances, accès, environnements et documentation, maintenus à jour.
- Diagnostic et premiers correctifs : anomalies reproduites, causes identifiées, corrections codées, testées, versionnées et déployées après validation.
- Backlog technique : tâches priorisées, critères d'acceptation, dépendances, responsables, stratégie de tests et cible de mise en production.
- Feuille de route : trajectoire glissante à trois mois et vision indicative à six/douze mois, actualisée mensuellement.
- Spécifications techniques : contrats d'interface, mappings, transformations, volumétrie, gestion des erreurs et contraintes d'exploitation.
- Composants exécutables : notebooks, pipelines, scripts et configurations versionnés, lisibles et sans secrets embarqués.
- Dossiers de tests : scénarios, données de test, résultats horodatés, anomalies corrigées et preuves d'exécution.
- Packages de mise en production : versions, prérequis, paramètres, procédures, sauvegardes, contrôles, release notes et rollback.
- Dossier d'exploitation et transfert : supervision, alertes, logs, procédures d'incident, documentation, revues de code et suivi hebdomadaire du transfert, finalisé avant passage en RUN.

Une livraison est considérée comme terminée uniquement lorsque les éléments applicables sont disponibles : code versionné, revue effectuée, tests concluants, critères d'acceptation respectés, déploiement reproductible et validé, contrôles post-production, supervision, reprise, rollback, documentation et transfert.

Feuille de route indicative des 90 premiers jours

Période

Objectifs

J1 à J5

Accès aux environnements et au code, exécution des traitements, diagnostic Salesforce, reproduction d'incidents, premiers correctifs et backlog priorisé.

J6 à J30

Stabilisation du RUN, quick wins testés et déployés, monitoring, alertes, logs, reprise sur erreur, premières procédures et transferts.

J31 à J60

Industrialisation du flux Salesforce selon arbitrage, développements versionnés, tests de non-régression et volumétrie, CI/CD, déploiements reproductibles et documentation.

J61 à J90

Développement et mise en production d'évolutions métier, stabilisation post-production, consolidation de la trajectoire et mesure de l'autonomie interne.

Organisation et modalités

- Démarrage souhaité : à partir de novembre 2026.
- Mode d'intervention : assistance technique / régie, sous pilotage direct de la DSI.
- Priorité : développement, corrections, tests, déploiements et RUN ; réunions et cadrage limités au nécessaire.
- Rituel opérationnel : hebdomadaire, 30 à 45 minutes.
- Revue technique : selon les besoins, au minimum deux fois par mois, sur les développements, commits, tests, déploiements et incidents.
- Revue de pilotage : mensuelle, sur la feuille de route, les livrables, indicateurs, risques et arbitrages.
- Revue de transfert : mensuelle, sur les compétences acquises, la documentation et l'autonomie.
- Engagement : période initiale de validation de l'adéquation du profil, puis intervention ajustable aux résultats et aux priorités.

Les développements doivent être réalisés dans les environnements et référentiels internes. La propriété des actifs, leur réversibilité et l'absence de dépendance durable au prestataire sont essentielles.

Les refontes complètes, choix structurants d'ERP ou de middleware, achats de capacités ou d'outils, flux bidirectionnels via Fabric et changements majeurs d'architecture restent soumis à validation préalable. Le support utilisateur Power BI et la validation métier des indicateurs ne font pas partie des responsabilités principales.

Critères de réussite

Le succès de la mission sera mesuré par des résultats techniques vérifiables :

- Amélioration du taux de succès des pipelines et réduction des incidents récurrents.
- Fiabilité de la fraîcheur, de la complétude et de la cohérence des données.
- Augmentation de la proportion de flux supervisés, documentés et rejouables.
- Diminution des alimentations Power BI contournant Fabric.
- Développements effectivement testés, acceptés et déployés.
- Réduction des régressions et amélioration du taux de livraison acceptée dès la première présentation.
- Généralisation des release notes, preuves de tests et procédures de rollback.
- Répartition transparente des activités entre RUN, dette technique, évolutions, documentation et transfert.
- Autonomie mesurable d'au moins une ressource interne sur les composants principaux.

Le profil recherché

Profil recherchéProfil recherchéCompétences indispensablesExpérience significative et concrète de Microsoft Fabric en environnement de production.Expertise approfondie des pipelines Fabric Data Factory, Lakehouse, OneLake, notebooks et mécanismes d'orchestration.Excellente maîtrise de SQL et Python/PySpark.Expérience des architectures Medallion et de la modélisation analytique.Expérience réelle d'intégration de Salesforce et d'ERP hétérogènes.Solide expérience de reprise d'environnements Data existants, y compris partiellement documentés.Capacité à diagnostiquer des incidents, corriger du code et sécuriser le RUN.Maîtrise des pratiques d'industrialisation, de supervision, de tests, de déploiement et d'optimisation.Capacité à développer et mettre en production personnellement, sans dépendre systématiquement d'autres intervenants.Aptitude à documenter en français et à transmettre efficacement ses connaissances.Compétences appréciéesPower BI, DAX et optimisation des rafraîchissements.Azure DevOps, Git et CI/CD Fabric.SSIS, SQL Server et migration de DWH historiques.Microsoft Purview, Data Quality, catalogue et lignage.Patterns API, CDC, événements et middleware.Expérience dans un contexte industriel international.Sensibilité aux données sensibles, à la sécurité et aux enjeux de souveraineté.Certification Microsoft Fabric ou Azure Data Engineer.Qualités attenduesNous recherchons un profil senior, autonome, pragmatique et orienté résultats, capable de proposer des solutions simples et proportionnées, puis de les réaliser.Le consultant devra faire preuve de transparence sur les risques, les difficultés et les travaux restants, travailler efficacement en binôme et respecter les standards de sécurité et de confidentialité.Un profil principalement architecte, chef de projet ou consultant fonctionnel, sans pratique récente et approfondie du développement Fabric, ne correspondra pas au besoin.

Mais aussi...

Taux journalier :Salaire selon profil