Data Platform Engineer – DataOps / SRE (orienté Databricks & Dataiku)

Je recherche unvData Platform Engineer – DataOps / SRE (orienté Databricks & Dataiku) une prestation d’accompagnement dans l’objectif de garantir la fiabilité, la performance et l’industrialisation des solutions data au sein de l’équipe OPS (ITOps / SRE).

Au-delà de la gestion des pipelines, le profil intervient en amont sur la conception et le déploiement d’architectures data complètes, de la définition des choix techniques avec les équipes Dev/Archi/Sécurité/Cloud … à la mise en production jusqu’à assurer le fonctionnement optimal des plateformes en production.

Intégrer une équipe IT Ops pour assurer le déploiement et l’architecture Data autour des solutions Databricks & Dataiku. Le rôle consiste à garantir la stabilité, la performance et la sécurité des environnements, en collaboration avec les équipes techniques et métiers de la direction Data & IA

Responsabilités principales :

• Administrer les environnements Databricks et Dataiku : gestion des clusters, sécurité et gouvernance (Databricks Azure, Dataiku on prem)

• Déployer et maintenir les pipelines de données (ETL/ELT) en production (MCO)

• Automatiser le déploiement et la configuration IaC

• Administrer des environnements Airflow, Starburst …

• Assurer la fiabilité, l’intégrité et la qualité de la plateforme en production.

• Définir et suivre les SLO/SLI ; rétablir le service en cas d’incident.

• Participer à la conception d’architectures data end-to-end (ingestion, stockage, transformation, exposition) et anticiper les impacts sur la production.

Compétences clés :

Techniques :

• Linux (RHEL), Docker, Kubernetes / OpenShift

• Databricks, Dataiku (connaissances avancées)

• Airflow, Starburst, Domino AI (un plus)

• Automatisation & IaC Git, Ansible, Terraform, Helm, DigitalAI, ArgoCD

• Scripting : Python, SQL, Shell, YAML

• Observabilité & Monitoring: ELK, SysDig, Dynatrace, Grafana

• Cloud : IBM Cloud (Cloud Principal), Azure (pour la solution Databricks)

Métier & Soft skills :

• Analyse, diagnostic, résolution de problèmes et définir des indicateurs pertinents (SLI/SLO)

• Orientation fiabilité, performance et expérience utilisateur

• Autonomie, sens des priorités et proactivité

• Capacité à anticiper les besoins futurs en matière de Data & AI et à proposer des solutions innovantes pour améliorer la fiabilité et la performance des services.

Profil recherché :

• Expérience en DataOps, DevOps/IAOps/Architecture Data ou exploitation en production.

• Maîtrise opérationnelle de Databricks et Dataiku sur des projets réels en production

• Communication fluide et maitrise de l’anglais obligatoire pour un usage quotidien

• Conception et mise en œuvre des architectures de production pour les nouveaux projets

• Implémentation des outils de configuration et d'automatisation pour simplifier les process de déploiement et de mise à jour sur l'intégralité de la plateforme

• Design et implémentation de scripts pour les besoins du DEV, en support des ingénieurs OPS affectés aux projets Agiles

• Gestion de la capacité des environnements de production et anticipation des évolutions (capacity planning) ;

• Pilotage de la mise à niveau des infrastructures et gestion des impacts

• Mise en oeuvre des bonnes pratiques DevOps et intégration continue Installation, configuration et divers paramétrages

• Alimentation du backlog des Services de production ( CI/CD, Continuous Operation, Time2fix,...) en complément des informations collectées auprès des Ingénieurs OPS

Connaître les environnements de Production et Containers

Apport d’expertise autours de la pratique DEVOPS

Connaissance de l'intégration Continue

Connaissance des Infrastructures/ serveurs / OS/Base De Donnée /Flux/firewall

Connaissance en infrastructure Cloud (IaaS, PaaS) privé ou public

Maîtrise de l’ordonnancement (Schedulers)

Connaissance des pratiques Agile et DevOps

Connaissance de l'intégration Continue (Continuous Integration) : Outil de gestion de versions, Référentiel du code source (GitLab, Bit bucket,..), référentiel binaires (Nexus, Artifactory…), orchestration (Jenkins, …).

Connaissance de la Livraison Continue (Continuous Delivery) : gestion de configuration d’environnement, déploiement, Infrastucture as code (Ansible, Puppet, Chef)

Connaissance des processus et Outils du Time2fix et Time2repair