Ingénieur DataOps - Production

Contexte

Le bénéficiaire souhaite une prestation d’accompagnement dans l’objectif de garantir la fiabilité, la performance et l’industrialisation des solutions data au sein de l’équipe OPS (ITOps / SRE).

Au-delà de la gestion des pipelines, le profil intervient en amont sur la conception et le déploiement d’architectures data complètes, de la définition des choix techniques avec les équipes Dev/Archi/Sécurité/Cloud … à la mise en production jusqu’à assurer le fonctionnement optimal des plateformes en production.

Intégrer une équipe IT Ops pour assurer le déploiement et l’architecture Data autour des solutions Databricks & Dataiku. Le rôle consiste à garantir la stabilité, la performance et la sécurité des environnements, en collaboration avec les équipes techniques et métiers de la direction Data & IA d’une grande entreprise du secteur assurance.

Missions

• Administrer les environnements Databricks et Dataiku : gestion des clusters, sécurité et gouvernance (Databricks Azure, Dataiku on prem)

• Déployer et maintenir les pipelines de données (ETL/ELT) en production (MCO)

• Automatiser le déploiement et la configuration IaC

• Administrer des environnements Airflow, Starburst …

• Assurer la fiabilité, l’intégrité et la qualité de la plateforme en production

• Définir et suivre les SLO/SLI ; rétablir le service en cas d’incident

• Participer à la conception d’architectures data end-to-end (ingestion, stockage, transformation, exposition) et anticiper les impacts sur la production

Compétences clés

Techniques :

• Linux (RHEL), Docker, Kubernetes / OpenShift

• Databricks, Dataiku (connaissances avancées)

• Airflow, Starburst, Domino AI (un plus)

• Automatisation & IaC : Git, Ansible, Terraform, Helm, DigitalAI, ArgoCD

• Scripting : Python, SQL, Shell, YAML

• Observabilité & Monitoring : ELK, SysDig, Dynatrace, Grafana

• Cloud : IBM Cloud (Cloud Principal), Azure (pour la solution Databricks)

Métier & Soft skills :

• Analyse, diagnostic, résolution de problèmes et définition des indicateurs pertinents (SLI/SLO)

• Orientation fiabilité, performance et expérience utilisateur

• Autonomie, sens des priorités et proactivité

• Capacité à anticiper les besoins futurs en matière de Data & AI et à proposer des solutions innovantes pour améliorer la fiabilité et la performance des services