Ingénieur DevOps - Expert Databricks

La prestation demandée est une mission d’Ingénierie DevOps Data Platform au sein de l’équipe Socle Data Cloud, ayant pour objectif d’administrer, industrialiser et faire évoluer les plateformes Data de l’entreprise dans un environnement hybride On-Premise / Azure Cloud.

L’enjeu principal est de faire d’Azure Databricks la plateforme centrale du Socle Data Cloud, en assurant son intégration avec les solutions existantes (Dataiku DSS, Dremio, Tableau Server, Cloudera/Hadoop, Power BI) et en garantissant des flux de données sécurisés et performants entre les environnements On-Premise et Azure.

Gestion des obsolescences

• Suivi des cycles de vie des composants Data et Big Data.

• Réalisation des upgrades et migrations des plateformes.

• Intégration des évolutions Azure et Azure Databricks.

• Mise en conformité avec les standards de sécurité et de gouvernance.
  

Livrables / Résultats attendus

• Contribution à l’évolution de l’architecture du Socle Data Cloud Azure.

• Déploiement et administration des environnements Azure Databricks.

• Mise en place et maintien des connexions entre les plateformes On-Premise (Dataiku, Dremio, Tableau, Cloudera/Hadoop) et Azure Databricks.

• Développement et maintenance des infrastructures automatisées via Terraform, Ansible et Azure DevOps.

• Industrialisation des déploiements et des pipelines CI/CD.

• Automatisation des tâches d’exploitation en Python et Bash.

• Mise en œuvre des mécanismes de sécurité Azure (Entra ID, Key Vault, gestion des accès).

• Supervision et observabilité des plateformes (Grafana, Prometheus, ELK/OpenSearch).

• Support N3 et optimisation des performances des environnements Data et Big Data.

• Production de la documentation technique et des bonnes pratiques d’exploitation et de gouvernance.

Profil recherché

Le consultant intervient sur l’automatisation des déploiements via l’Infrastructure as Code, l’exploitation des plateformes, l’amélioration de l’observabilité, la mise en œuvre des standards de sécurité ainsi que le maintien en conditions opérationnelles. La mission s’effectue en étroite collaboration avec les équipes Data Engineering, Architecture, Cloud et Sécurité.