Data Engineer - Communauté d'Agglomération Paris Saclay H/F

Détail du poste

Afin de structurer la plateforme donnée et sa gouvernance, l'Agglomération recrute un Data Engineer H/F. En cohérence avec son choix d'utiliser la suite Microsoft 365, l'Agglomération souhaite structurer sa plateforme sur Microsoft Fabric. Au regard des enjeux grandissants de souveraineté numérique, cette structuration devra anticiper la réversibilité de ce choix.

Intégrer les données et construire les projets:
- Analyser les sources d'un nouveau projet avec les référents métiers : contenu, qualité, fréquence de mise à jour, contraintes de diffusion
- Sonder chaque source, puis écrire les contrats de flux et, si une famille de source n'est pas encore couverte, développer le connecteur correspondant (API, fichiers SharePoint, bases SQL, données géographiques, CAO, XML)
- Écrire les transformations et les recalculs en SQL (dbt) : normalisation, agrégations, périmètres, modèles en étoile pour la restitution
- Construire les modèles sémantiques et appuyer la réalisation des tableaux de bord
- Préparer les jeux de données destinés à être réutilisés ou diffusés : fichiers téléchargeables, formats géographiques standards, publication en open data le cas échéant

Faire tourner la plateforme:
- Planifier et superviser les chargements ; analyser les échecs à partir du journal d'exécution et corriger
- Garantir la qualité des données : contrôles automatiques, tests, alertes, traitement des anomalies avec les référents métiers
- Gérer les rechargements lorsqu'une source révise ses données
- Suivre la consommation de la capacité Fabric et contribuer à la maîtrise des coûts

Industrialiser et faire évoluer le socle:
- Respecter et faire évoluer les conventions et le cadre de développement en place
- Maintenir la chaîne de déploiement (GitHub Actions, Terraform, fabric-cicd) et les tests
- Documenter les flux, les modèles et les procédures d'exploitation
- Réaliser des revues de code, y compris sur les livrables des prestataires

Contribuer à la gouvernance et accompagner les utilisateurs:
- Mettre en oeuvre techniquement les règles de gouvernance : catalogue Purview, descriptions, classification, étiquettes de sensibilité, lignage, gestion des accès par groupes
- Accompagner les Data Stewards dans la documentation et le contrôle de leurs données
- Aider les agents à trouver et utiliser les données : catalogue, Excel connecté, téléchargements
- Assurer une veille sur l'écosystème Microsoft Fabric et les outils de données ouverts

Le profil recherché

Nous recherchons un·e candidat·e disposant d'une première expérience en ingénierie des données, maîtrisant Python, SQL avancé, la modélisation de données, Git et l'intégration de données via API et fichiers structurés. Une expérience sur une plateforme data cloud telle que Microsoft Fabric, Azure, Synapse ou Databricks est indispensable.Une connaissance de technologies telles que dbt, Delta Lake, Parquet, GitHub Actions, Terraform ou des écosystèmes Microsoft Fabric sera appréciée, tout comme une sensibilité aux enjeux de gouvernance des données, d'open data et de données géographiques.Au-delà des compétences techniques, le poste requiert de la rigueur, de l'autonomie, un bon sens des priorités ainsi qu'une capacité à vulgariser des sujets techniques auprès d'interlocuteurs métiers. La curiosité, le goût du travail en équipe et l'intérêt pour les enjeux du service public et de la protection des données sont également recherchés.Titulaire d'un Bac +5 (informatique, data, statistiques ou équivalent), vous justifiez idéalement d'au moins 2 ans d'expérience en ingénierie des données. Les profils juniors ayant acquis une première expérience significative en alternance ou en stage seront également étudiés. Une expérience dans le secteur public ou sur des données territoriales constitue un atout.