Ingénieur Data Spark/Scala H/F

Dans le cadre du maintien en conditions opérationnelles et de l’évolution d’un environnement Big Data / Datalake décisionnel, nous recherchons un(e) Ingénieur Data Spark/Scala – Gestion courante afin d’accompagner l’un de nos clients sur des enjeux de suivi d’exploitation, correction d’incidents et évolution de traitements Data.

Quelques éléments pour mieux comprendre l’environnement :

• Secteur d’activité : Assurance 🛡️

• Organisation : Équipe de Gestion Courante Décisionnel au sein de la Direction des Études

• Enjeux : Assurer le maintien de la qualité de service sur un périmètre applicatif décisionnel développé en Spark/Scala, en assurant le suivi des traitements, la résolution des incidents et la mise en œuvre des évolutions.

Dans le cadre de cette mission, tu seras notamment amené(e) à :

➞ Assurer le suivi quotidien des traitements en Spark/Scala

➞ Analyser et corriger les incidents fonctionnels, avec leurs éventuelles reprises de données

➞ Réaliser les évolutions confiées sur le périmètre

➞ Tester les corrections d’incidents et les développements réalisés

➞ Mettre à jour la documentation et assurer la mise en production des corrections et développements

• Technologies : Spark, Scala, Hadoop, Hive, HDFS, YARN, Oozie, Parquet, Kafka, Spark Streaming, MongoDB, JSON, Avro

• Outils : Cloudera, Git

• Bases de données : Oracle