🎯 Contexte de mission

Dans le cadre du renforcement d’une équipe en charge de la gestion courante décisionnelle et Data Lake, la mission s’inscrit au sein d’une architecture Big Data collectant les données issues de différents systèmes Back Office et alimentant un Datawarehouse via un Datalake.

L’environnement repose notamment sur des traitements développés en Spark / Scala, avec des technologies Big Data telles que Hadoop, Hive, HDFS, YARN, Oozie et Kafka.

Le consultant interviendra sur le suivi d’exploitation, la résolution des incidents applicatifs fonctionnels et les évolutions du périmètre décisionnel, avec un objectif prioritaire de maintien de la qualité de service.

Une expérience significative en gestion courante applicative est incontournable.

🛠️ Missions principales et rôle

• Assurer le suivi quotidien des traitements Big Data développés en Spark / Scala.

• Superviser les traitements et analyser les éventuels dysfonctionnements.

• Prendre en charge les incidents applicatifs fonctionnels affectés sur le périmètre.

• Analyser les causes des incidents et mettre en œuvre les corrections nécessaires.

• Réaliser, lorsque nécessaire, les reprises de données associées aux incidents.

• Prendre en charge les évolutions applicatives confiées.

• Rédiger les spécifications liées aux corrections et développements.

• Concevoir et exécuter les plans et cas de tests.

• Tester les corrections d’incidents et les nouveaux développements.

• Participer à la validation des traitements avant mise en production.

• Préparer et réaliser les livraisons en production.

• Mettre à jour la documentation applicative et technique.

• Assurer le suivi des activités et alimenter les outils de pilotage de l’équipe.

• Rendre compte de l’avancement au chef de projet.

• Contribuer au maintien de la qualité de service (QOS) sur l’ensemble du périmètre applicatif.

🎯 Objectifs

• Garantir la disponibilité et la fiabilité des traitements Data.

• Assurer le maintien en conditions opérationnelles du périmètre Big Data.

• Résoudre efficacement les incidents et limiter leur récurrence.

• Réaliser les évolutions dans le respect des délais et charges définis.

• Sécuriser les tests et les mises en production.

• Maintenir une documentation fiable et à jour.

• Contribuer à l’amélioration continue de la qualité de service.

📦 Livrables

• Spécifications des corrections et évolutions.

• Plans et cas de tests.

• Corrections et développements livrés en production.

• Documentation applicative et technique mise à jour.

• Suivi d’activité de l’équipe actualisé.

• Comptes rendus et reporting d’avancement.

💻 Compétences requises

🔥 Indispensables

• Spark

• Scala

• Expérience significative en gestion courante applicative / MCO.

• Environnement Big Data.

• Oracle

• Unix / Linux.

• Git.

• Shell scripting.

🧱 Écosystème Big Data

• Hadoop.

• Spark.

• Hive.

• HDFS.

• YARN.

• Oozie.

• Parquet.

• Kafka / Spark Streaming.

• MongoDB.

• JSON / Avro.

• Cloudera.

• Java.

☁️ Apprécié

• Connaissance de GCP.

• Expérience dans un contexte technologique similaire, avec des architectures Data Lake / Datawarehouse.

🤝 Compétences transverses

• Bon relationnel.

• Excellentes qualités rédactionnelles.

• Capacité à travailler en équipe.

• Rigueur et sens du service.

• Autonomie dans l’analyse et la résolution des incidents.

• Capacité à communiquer efficacement avec les équipes techniques et projet.

👤 Profil

• Data Engineer / Ingénieur Big Data disposant de plus de 5 ans d’expérience sur Spark et Scala.

• Expérience concrète en gestion courante applicative, exploitation et traitement d’incidents.

• Solide maîtrise des environnements Big Data et des problématiques de production.

• Bonne connaissance des traitements distribués et des architectures Data Lake.

• Profil capable d’intervenir aussi bien sur le Run que sur les évolutions.

• Organisé, rigoureux et à l’aise dans un environnement nécessitant réactivité et qualité de service.