Ingénieur DataOps H/F

Le contexte

Dans le cadre de l'exploitation et de la fiabilisation de plateformes Data, nous recherchons un(e) Ingénieur DataOps afin d'accompagner l'un de nos clients sur des enjeux de disponibilité, de cohérence et de maintien en conditions opérationnelles des environnements Data.

Quelques éléments pour mieux comprendre l'environnement :

Secteur d'activité : 🛡️ Assurance

Organisation : Tu travailleras en collaboration avec les équipes de développement Data, de production et les clients des produits Data, sous la responsabilité du responsable des environnements.

Enjeux : Garantir la disponibilité et la fiabilité des environnements hors production (DEV, RCT, PREPROD), assurer la bonne exécution des traitements Data et contribuer à l'automatisation des opérations techniques.

Ce que tu feras concrètement

Dans le cadre de cette mission, tu seras notamment amené(e) à :

➞ Réaliser les opérations de refresh des données sur les différents environnements et assurer leur cohérence.

➞ Effectuer les installations applicatives : traitements Spark/Scala, ETL Informatica, scripts SQL Oracle et scripts Shell.

➞ Assurer la synchronisation des environnements en contrôlant les versions applicatives, logicielles, configurations et paramétrages.

➞ Construire et maintenir des dashboards de monitoring afin de suivre les exécutions, les volumes et les indicateurs des environnements.

➞ Développer et automatiser des outils et scripts pour contrôler les écarts entre environnements, valider les installations et les refresh, et vérifier la cohérence des bases de données.

➞ Assurer le maintien en conditions opérationnelles : exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi des batchs OPCON et relance des traitements.

➞ Mettre en place et assurer le suivi de l'alerting et du reporting.

Ton environnement

Technologies : Oracle PL/SQL, Scala, Spark, Hadoop, MongoDB, Google Cloud.

Outils : OPCON, Elasticsearch, Logstash, Kibana (ELK), Git, Shell Linux.

Méthodologies : Exploitation et maintien en conditions opérationnelles, automatisation des procédures, monitoring et observabilité.

Profil recherché

Le profil que nous recherchons

• Tu justifies d'une expérience confirmée en DataOps, exploitation Data ou environnement Big Data.

• Tu disposes d'une expertise en développement Oracle PL/SQL.

• Tu maîtrises les environnements Big Data, notamment Hadoop et Spark.

• Tu possèdes une expérience sur les traitements Scala et les environnements Google Cloud.

• Tu connais les outils de supervision ELK et l'ordonnanceur OPCON.

• Tu maîtrises les environnements Linux et le scripting Shell.

• Tu fais preuve de rigueur, d'autonomie et d'un bon esprit d'investigation. Tu sais analyser les erreurs, exploiter les logs et documenter tes interventions.