Data Engineer Scala/Spark sénior - CDI

Contexte

Prestation à temps plein de Data Engineer Senior Scala/Spark. Intervention en tant que contributeur individuel sur l’étude, le chiffrage, la réalisation et l’exploitation de tâches liées à la constitution de traitements Data complexes.
Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d’ops, architectes et encadrés par un chef de projet.
Le projet concerne une migration technologique d’un décisionnel RH, avec une bascule technologique d’IBM vers Databricks.

Missions

• Réaliser les livrables liés aux User Stories (US) dans un cadre agile, avec découpage par sprints de 2 semaines environ
• Développement des US et tests associés
• Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation
• Mise en place du CI/CD sur l’usine logicielle
• Mise en place du monitoring

Outils & Environnement

Compétences requises :

• Maîtrise de l'API Scala Spark (batch principalement)
• Maîtrise des techniques d'optimisation Spark
• Expérience dans le traitement de volumétries importantes / complexes
• Développement et bonnes pratiques Scala, build Maven
• Travail en environnement cloud (idéalement Azure) et écosystème Databricks

Compétences souhaitées :

• Connaissance du SI d’une grande entreprise ferroviaire française
• Connaissance des outils Datadog, Rundeck