Architecte Tech Lead Data Platforme - Freelance

Contexte: FREELANCE ET CDI

Secteur du nucléaire.
Équipe de 5 à 6 personnes, projet sur du long terme.
Data plateforme en place, maintien et amélioration de la plateforme, intégration de l'IA, sécurité du client à prendre en compte.
Full time (possible démarrage à 3/5ème dans un premier temps).
Démarrage : ASAP.
Présentiel souhaité : 2 à 3 jours sur site à Lyon.

Missions

• Optimisation et mise en place de l’architecture Data Platform (Azure Databricks) en appliquant les bonnes pratiques de gouvernance, performance et scalabilité.

• Organisation et structuration des ressources pour l’industrialisation de nouveaux use cases et la livraison en production.

• Montée en compétence de l’équipe Data (mentorat, standards d’architecture, bonnes pratiques CI/CD).

• Implémentation d’une architecture Data Mesh orientée domaines.

• Mise en place des droits d’accès et de la gouvernance des Data Domains et des use cases via Databricks Unity Catalog.

• Gestion centralisée du catalogue de données, data lineage et sécurité.

• Refonte et optimisation de l’architecture Data Platform pour améliorer performance, coûts et maintenabilité.

• Optimisation des performances de traitement (Spark tuning, optimisation Delta, partitioning, caching).

• Création et orchestration de workflows sur Azure Databricks.

• Développement de notebooks d’intégration et de transformation des données (PySpark / SQL).

• Développement de pipelines Azure Data Factory.

• Mise en place de pipelines DevOps CI/CD et industrialisation des déploiements multi-environnements (DEV / UAT / PROD).

• Mirroring des catalogues et use cases Databricks vers Fabric pour unifier la gouvernance et faciliter l’adoption métier.

• Utilisation des Shortcuts vers OneLake afin d’éviter la duplication de données, réduire les coûts de stockage et améliorer la performance des rapports Microsoft Power BI.

• Implémentation d’AI Data Agents pour démocratiser l’accès aux données.

• Utilisation de Copilot via Data Agent pour permettre aux utilisateurs métier d’interagir en langage naturel avec les données.

• Intégration des Data Agents dans Microsoft Teams afin d’améliorer la collaboration et la génération assistée d’insights.

Outils & Environnement

• Azure Databricks

• Databricks Unity Catalog

• Azure Data Factory

• Azure DevOps

• Azure Key Vault

• Azure Data Lake Storage (ADLS Gen2)

• Azure Cosmos DB

• Microsoft Power BI

• OneLake

• PySpark

• Spark SQL

• Delta Lake

• CI/CD

• Data Mesh

• Lakehouse Architecture

Conditions de travail

• Remplacement à faire.

• Architecte, 2/3 jours par semaine, idéalement à Lyon.

• Répartition du temps : 2/5 architecture, 2/5 lead tech Databricks, 1/5 travail sur les use case métier.

• Anglais requis.