Architecte Technique Senior BigData – Azure / Databricks (H/F)

Le contexte

Nous recherchons un(e) Architecte Technique Senior pour piloter l'architecture de plusieurs use cases BigData en production. Ces use cases portent sur des flux d'ingestion et d'exposition de données dans un environnement Azure / Databricks exigeant.

Vos missions

• Concevoir et piloter l'architecture technique des use cases data (ingestion batch et temps réel, exposition BI)

• Co-administrer Unity Catalog et les workspaces Databricks en production (gouvernance, RBAC, lineage, audit)

• Concevoir des pipelines Databricks industrialisés (PySpark, Spark SQL, jobs, CI/CD)

• Garantir la sécurité et la conformité des données : chiffrement, data masking, RGPD

• Optimiser les performances et les coûts des workloads (tuning Spark, autoscaling, sizing)

• Assurer l'exploitation en production : SLA/SLO, monitoring, runbooks, gestion des incidents et des changements

• Être le référent technique auprès des data engineers, des équipes ops et sécurité et des métiers

Compétences clés

• Azure Data Lake / ADLS (architecture, sécurité, performance)

• Écosystème Azure Data en production : ADF, Synapse, Event Hub, Key Vault

• Databricks avancé : clusters, pools, jobs, permissions, Unity Catalog

• Lakehouse / Delta Lake : partitionnement, Z-order, modélisation de data marts

• Streaming : Event Hubs, Kafka, Structured Streaming

• Réseau et identité Azure : VNet, Private Endpoints, Azure AD, RBAC

• Alimentation BI (Power BI ou équivalent)

• DevOps : Git, branching, CI, releases et rollback

Profil recherché

• Expérience significative en architecture BigData distribuée en production (lambda, kappa, lakehouse)

• Connaissance approfondie des internals Spark (shuffle, partitions, joins, broadcast, gestion mémoire)

• Capacité à diagnostiquer rapidement un incident sur une stack Azure/Databricks et à gérer une crise (troubleshooting, post-mortem)

• Vision systémique et leadership technique fort dans un environnement multi-équipes, sans lien hiérarchique