Ingénieur DevOps Cloud Azure - Expert Databricks - Freelance

Taux journalier (TJM): 550

Contexte

• Dans le cadre de l’accélération de ses projets Data & IA sur Microsoft Azure, un client recherche un consultant confirmé pour concevoir, industrialiser et maintenir des plateformes de traitement de données à grande échelle.
• La mission associe une expertise Azure Databricks et Azure Batch, de solides compétences en Python et une forte culture DevOps.
• Les principaux enjeux sont la performance, la fiabilité, la sécurité et la maîtrise des coûts Cloud.

Missions – Azure Databricks & Data Engineering

• Concevoir et développer des pipelines de données et des traitements distribués en Python/PySpark.
• Développer et maintenir les notebooks et workflows Databricks.
• Concevoir des architectures Lakehouse reposant sur Delta Lake.
• Optimiser les performances des jobs, la gestion des clusters et les coûts.
• Mettre en place le monitoring, l’observabilité et les contrôles de qualité des données.

Missions – Azure Batch

• Concevoir et orchestrer des traitements massifs et distribués.
• Configurer les pools de calcul et les stratégies d’exécution.
• Industrialiser les traitements à forte volumétrie ou nécessitant des ressources CPU/GPU importantes.
• Optimiser la parallélisation et la répartition des charges.
• Assurer la supervision et la gestion des incidents.

Missions – Développement Python

• Développer des composants techniques et des bibliothèques réutilisables et maintenables.
• Réaliser les tests unitaires, d’intégration et de performance.
• Participer aux revues de code et à l’amélioration continue.

Missions – DevOps & exploitation

• Mettre en œuvre les pipelines CI/CD avec Azure DevOps.
• Automatiser les déploiements des infrastructures et des applications avec Terraform/Bicep.
• Gérer les environnements de développement, de recette et de production.
• Garantir la scalabilité, la résilience et la sécurité des plateformes.
• Accompagner les équipes dans l’adoption des standards Cloud et DevOps.

Compétences techniques requises

• Microsoft Azure : niveau expert.
• Azure Databricks : niveau expert.
• Azure Batch : niveau expert.
• Azure Data Lake Storage Gen2.
• Azure Key Vault.
• Azure Monitor / Log Analytics.
• Python avancé, PySpark et SQL avancé.
• API REST et programmation orientée objet.
• Azure DevOps, Git et pipelines YAML.
• Terraform et Bicep.
• Docker.
• Architecture Lakehouse et Delta Lake.
• Optimisation des traitements distribués et gestion de données volumineuses.
• Data Quality et Data Governance.

Compétences appréciées

• Azure Event Hubs.
• Azure Data Factory.
• Kubernetes / AKS.

Modalités

• Localisation : à préciser.
• Démarrage : à préciser.
• Durée : à préciser.
• Télétravail : à préciser.