Ingénieur Data Ops (Hadoop/SCALA/ Spark)

Vous serez en charge d'assurer  l'exploitation quotidienne des environnements hors production.

Vos missions consisteront à contribuer:

• Assurer le Refresh des données sur les différents environnements

• Assurer les installations applicatives (traitements Spark/Scala, ETLs Informatica, scripts sql Oracle, scripts shell, ...)

• Synchronisation des environnements : versions applicatives, versions software, configurations et paramétrages

• Monitoring et observabilité : Construire et maintenir un dashboard de monitoring des environnements (exécutions, volumes, ..)

• Automatisation des procédures : Développer les outils/scripts nécessaires permettant de réduire l'effort manuel (contrôle automatique des écarts entre environnements, validation post-installation et refresh, conhérence des bdd ..)

• Maintien en conditions opérationnelles : Exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi des batchs Opcon, relances des batch/jobs.

Profil recherché

Pour mener à bien ce projet, vous devrez justifier de:

•  Compétences techniques:  Apache Hadoop, Google Cloud (GCP), SCALA, shell Linux, Elasticsearch, Logstash, Kibana (elk), GIT, Spark, 

• Compétences en développement PL/SQL Oracle et MongoDB

• Compétences en matière de formalisation de la  Documentation, automatisation des déploiement, respecter les standards d'exploitation

• Compétences en Investigation dans l'analyse des erreurs et métriques (software et hardware), comprendre la chaine Data et surveiller la pipeline de bout en bout.

• Capacité à travailler au sein d'une équipe multi disciplinaire: Service Ops, équipe Développement Data, l'équipe de Production, 

• Bonne communication orale et écrite.