Expert Azure Databricks / Azure Batch (H/F)

Dans le cadre du développement de projets Data et IA sur Microsoft Azure, nous recherchons un Expert Azure Databricks / Azure Batch pour concevoir, industrialiser et maintenir des plateformes de traitement de données à grande échelle.

Le consultant interviendra sur des environnements Cloud exigeants, avec un fort niveau d’automatisation, de performance, de sécurité et de fiabilité. Il participera à la conception d’architectures Data modernes ainsi qu’au développement de solutions robustes et industrialisées.

Ses principales responsabilités seront les suivantes :

• Concevoir et développer des pipelines de traitement de données distribués sous Azure Databricks.

• Développer des notebooks, workflows et composants techniques en Python et PySpark.

• Optimiser les performances des traitements Databricks et des jobs distribués.

• Concevoir des architectures Lakehouse basées sur Delta Lake.

• Industrialiser et orchestrer des traitements massifs avec Azure Batch.

• Configurer les pools de calcul et les stratégies d’exécution adaptées aux besoins.

• Optimiser la parallélisation, la distribution de charge et la consommation des ressources.

• Mettre en place des solutions de monitoring, d’observabilité et de gestion des incidents.

• Développer des librairies Python réutilisables, maintenables et testées.

• Réaliser des tests unitaires, d’intégration et de performance.

• Participer aux revues de code et à l’amélioration continue des pratiques de développement.

• Mettre en œuvre des pipelines CI/CD et automatiser les déploiements.

• Développer et maintenir l’Infrastructure as Code avec Terraform et/ou Bicep.

• Garantir la qualité, la sécurité et la conformité des déploiements.

• Accompagner les équipes projet dans l’adoption des standards Cloud, Data Engineering et DevOps.

Profil recherché

De formation supérieure en informatique, Data Engineering ou Cloud Computing, vous justifiez d’une expérience significative sur des projets Data et Cloud Azure.

Vous disposez notamment des compétences suivantes :

• Expérience confirmée sur Microsoft Azure.

• Très bonne maîtrise d’Azure Databricks et de son écosystème.

• Expérience significative sur Azure Batch et les environnements de calcul distribué.

• Solide maîtrise de Python et de la programmation orientée objet.

• Très bonnes connaissances de PySpark et du langage SQL.

• Expérience dans la conception de pipelines de données et d’architectures Lakehouse.

• Maîtrise de Delta Lake et des problématiques d’optimisation des traitements distribués.

• Connaissance des enjeux liés à la gestion de données volumineuses, à la Data Quality et à la Data Governance.

• Expérience des pratiques DevOps et des chaînes CI/CD.

• Maîtrise de Git, Azure DevOps et des pipelines YAML.

• Bonne connaissance de Terraform et/ou Bicep.

• Expérience avec les API REST et les tests automatisés.

• Sensibilité aux problématiques de performance, de sécurité, de résilience et de maîtrise des coûts Cloud.

La connaissance d’Azure Data Lake Storage Gen2, Azure Key Vault, Azure Monitor, Log Analytics, Azure Event Hub et Azure Data Factory constitue un atout. Une expérience sur Docker, Kubernetes ou AKS sera également appréciée.

Autonome, rigoureux et doté d’un bon esprit d’analyse, vous êtes capable d’intervenir sur des sujets d’architecture, de développement, d’industrialisation et d’exploitation. Vous appréciez le travail en équipe et savez accompagner les équipes dans la mise en place de bonnes pratiques techniques.