Data Engineer - Développeur Big Data - Spark Java & Databricks H/F

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇

🏠 2 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 3 ans minimum

Vous aimez autant comprendre ce que fait un pipeline que travailler sur la techno qui le fait tourner ?

Nous recherchons un·e Data Engineer / Développeur Big Data Spark pour rejoindre un projet qui offre une trajectoire technique intéressante : moderniser progressivement un SI Data existant, puis participer à sa migration vers Databricks dans le cloud.

L'enjeu n'est donc pas de repartir d'une feuille blanche. Vous travaillerez d'abord sur l'existant, comprendrez les flux et leurs enjeux métier, puis contribuerez à construire leur cible Big Data et Cloud.

Votre terrain de jeu : moderniser l'existant avant de construire la cible Cloud

Votre mission s'articulera autour de deux grandes étapes.

1/ Migrer progressivement les traitements vers Spark

Vous commencerez par vous approprier les flux de données existants et les processus métier associés.

Concrètement, vous allez :

- migrer des traitements Informatica et PL/SQL vers Spark en Java

- concevoir, développer et maintenir des pipelines de données

- optimiser les traitements existants en travaillant notamment sur leur performance et leur robustesse

- assurer la maintenance corrective et évolutive des traitements SQL / PL-SQL

- intervenir sur le BUILD comme sur le RUN, afin de comprendre le fonctionnement des traitements de bout en bout

- veiller à la qualité et à la fiabilité des données produites.

L'objectif : faire évoluer progressivement le patrimoine existant vers une architecture Big Data plus moderne, sans perdre la connaissance métier portée par les traitements historiques.

2/ Participer à la migration vers Databricks

Une fois cette première étape engagée, vous participerez à un projet stratégique de migration vers le Cloud avec Databricks.

Vous contribuerez notamment à :

- concevoir les futurs pipelines de données sous Databricks

- participer aux choix de conception et d'architecture

- industrialiser les nouveaux traitements

- faire évoluer les pratiques de développement et d'exploitation autour de cette nouvelle plateforme.

Vous aurez donc l'occasion de travailler sur l'existant et sa transformation, plutôt que d'intervenir uniquement sur la maintenance ou uniquement sur la cible.