Data Engineer Spark Scala - Freelance

Taux journalier (TJM): 580

Objectifs

Sur le périmètre confié au sein de l'équipe de Gestion Courante Datalake :

• Assurer le suivi des traitements quotidien en Spark/Scala

• Analyser, corriger les incidents fonctionnels confiés avec leurs éventuelles reprises de données afférentes

• Réaliser les évolutions confiées

• Tester les corrections d'incidents ou autres développements

• Mettre à jour la documentation

• Livrer en production les corrections ou autres développements

• Rendre compte à son chef de projet

Livrables

• Spécifications des corrections ou autres développements dans le respect des délais et des charges définis avec son chef de projet

• Plan et cas de tests

• Mises à jour de la documentation

• Mise à jour du suivi interne de l'équipe

Un bon relationnel et une qualité rédactionnelle sont demandées.

Une expérience de gestion courante applicative est incontournable.

Une connaissance d'Oracle est nécessaire.

Vous maîtrisez les nouvelles technologies BIG DATA, avec une expérience >5 ans sur des technologies SPARK & SCALA :

• HADOOP/ SPARK / HIVE / HDFS / YARN / OOZIE / Parquet / KAFKA / spark streaming, Mongo DB /JSON / AVRO

• Les outils et langages suivants : Cloudera, Java, Scala, Git

Une connaissance de contexte technologique similaire est nécessaire.

Une connaissance de GCP serait également appréciée.