Data Engineer / Développeur Big Data - Spark Java & Databricks (F/H)

2 jours de télétravail / semaine - Lyon (07) - Expérience de 3 ans minimum
Vous aimez autant comprendre ce que fait un pipeline que travailler sur la techno qui le fait tourner ?
Nous recherchons un• e Data Engineer / Développeur Big Data Spark pour rejoindre un projet qui offre une trajectoire technique intéressante : moderniser progressivement un SI Data existant, puis participer à sa migration vers Databricks dans le cloud.
L'enjeu n'est donc pas de repartir d'une feuille blanche. Vous travaillerez d'abord sur l'existant, comprendrez les flux et leurs enjeux métier, puis contribuerez à construire leur cible Big Data et Cloud.
Votre terrain de jeu : moderniser l'existant avant de construire la cible Cloud
Votre mission s'articulera autour de deux grandes étapes.
1/ Migrer progressivement les traitements vers Spark
Vous commencerez par vous approprier les flux de données existants et les processus métier associés.
Concrètement, vous allez :

• migrer des traitements Informatica et PL/SQL vers Spark en Java
• concevoir, développer et maintenir des pipelines de données
• optimiser les traitements existants en travaillant notamment sur leur performance et leur robustesse
• assurer la maintenance corrective et évolutive des traitements SQL / PL-SQL
• intervenir sur le BUILD comme sur le RUN, afin de comprendre le fonctionnement des traitements de bout en bout
• veiller à la qualité et à la fiabilité des données produites.

L'objectif : faire évoluer progressivement le patrimoine existant vers une architecture Big Data plus moderne, sans perdre la connaissance métier portée par les traitements historiques.
2/ Participer à la migration vers Databricks
Une fois cette première étape engagée, vous participerez à un projet stratégique de migration vers le Cloud avec Databricks.
Vous contribuerez notamment à :

• concevoir les futurs pipelines de données sous Databricks
• participer aux choix de conception et d'architecture
• industrialiser les nouveaux traitements
• faire évoluer les pratiques de développement et d'exploitation autour de cette nouvelle plateforme.

Vous aurez donc l'occasion de travailler sur l'existant et sa transformation, plutôt que d'intervenir uniquement sur la maintenance ou uniquement sur la cible.
Vous ne travaillerez pas uniquement dans votre coin sur vos pipelines :
Le poste comprend une vraie dimension collective.
Vous participerez à la guilde Spark de l'équipe pour échanger sur les choix de conception, l'optimisation des traitements et la roadmap technique.
Vous contribuerez également :

• aux bonnes pratiques de développement et d'exploitation
• au partage de connaissances au sein de l'équipe
• à l'amélioration continue des traitements
• à la mise à jour de la documentation technique.

L'idée est aussi que vous puissiez challenger les solutions techniques, notamment lorsqu'il faut traiter des volumes importants tout en conservant des pipelines performants, sécurisés et exploitables par les Data Analysts et Data Scientists.
L'environnement technique :
Vous évoluerez principalement avec : Spark • Java • Databricks • Oracle • PL/SQL • Informatica • Ceph • Maven • Control-M • Git • Jenkins • Terraform • Tableau Server
L'environnement est en transformation : certaines technologies correspondent au patrimoine actuel, tandis que Spark et Databricks prennent une place centrale dans la trajectoire cible.
Ce qui sera important pour réussir sur ce poste
Nous recherchons avant tout une personne à l'aise avec les problématiques de Data Engineering et de traitement de volumes importants.
Vous devrez notamment pouvoir vous appuyer sur :

• une bonne maîtrise de Spark, utilisée pour concevoir, développer et optimiser les pipelines de données
• de solides compétences en Java, puisque les développements Spark sont réalisés dans ce langage
• une bonne maîtrise de SQL et PL/SQL, nécessaire pour comprendre, maintenir et progressivement migrer les traitements existants
• une bonne compréhension des problématiques de stockage et de traitement de données à grande échelle
• une expérience des outils de gestion de code, CI/CD et déploiement
• une capacité à comprendre les enjeux métier derrière les flux de données, et pas uniquement leur implémentation technique.

Une expérience de Databricks constituera naturellement un vrai atout pour accompagner la deuxième phase du projet.
Au-delà de la stack, nous cherchons quelqu'un qui aime comprendre l'existant avant de le transformer, proposer des améliorations et participer aux décisions techniques plutôt que simplement exécuter des développements.
Si vous êtes prêt.e à relever ce défi et à contribuer à des projets stimulants, n'hésitez pas à postuler dès maintenant !
Bienvenue chez CELAD - L'ingénierie à visage humain
Depuis 1990, CELAD accompagne la transformation digitale des entreprises, en conjuguant innovation technologique et proximité humaine. D'abord ancrés dans le monde bancaire, nous sommes aujourd'hui une ESN de référence dans les Systèmes d'Information et l'Informatique Industrielle, forte de plus de 1750 collaborateurs passionnés et engagés.
Nous collaborons avec plus de 250 clients, des PME dynamiques aux Grands Groupes ambitieux, dans des secteurs aussi variés que la banque, l'assurance, la mobilité, l'énergie ou encore l'industrie.
Notre mission ?

• Accompagner les entreprises dans leur transformation numérique,
• Le faire avec passion, engagement et respect,
• En mettant toujours l'humain au cœur du projet.

Une présence forte en région : focus sur CELAD-Lyon
Basée au cœur d'une région en pleine dynamique tech, l'antenne lyonnaise propose des missions à forte valeur ajoutée dans toute l'Auvergne-Rhône-Alpes.
Nos consultants interviennent sur des projets variés, en autonomie ou en équipe, toujours avec un suivi de proximité.

• Nos clients ? Banque, assurance, transport, industrie, énergie...
• Nos méthodes ? Confiance, transparence, accompagnement personnalisé.

Pourquoi nous rejoindre ?
Parce qu'on ne cherche pas simplement des CV.
Parce qu'au-delà des projets, ce sont les relations humaines qui font notre force.
Chez CELAD, le management de proximité n'est pas une promesse, mais un engagement au quotidien : accompagnement individualisé, suivi régulier, perspectives d'évolution réelles... et surtout une équipe qui vous connaît et vous soutient.
Et si l'aventure Celadienne était la vôtre ?
Vous cherchez une entreprise où votre travail a de l'impact, où vous n'êtes jamais un numéro, où votre voix compte vraiment ? Chez CELAD, on prend soin des gens autant que des projets.
Avantages à la clé :

• 15 jours de RTT (100% « salarié » & Rachat à 125%)
• Participation aux bénéfices
• Indemnité de déplacement (6€ net / jour OU 50% du titre de transport)
• Des titres restaurants d'une valeur de 11€ / jour travaillé
• Plan Epargne Entreprise
• Prime de vacances
• Avance sur salaire
• Comité Social et Economique
• Des jours de congés supplémentaires (congés ancienneté)

1/ Vous postulez : chaque CV est lu (pas de filtre automatique chez nous !)
2/ Premier contact : un coup de fil rapide pour voir si on part sur de bonnes bases
3/ Premier entretien : on parle de vous, de vos compétences, de vos projets et on vous ouvre les coulisses de CELAD
4/ Rencontre Business Manager : on plonge dans le concret, la mission, l'équipe, les défis...
5/ Décision : si on se dit "go", on vous fait une offre et on prépare ensemble votre arrivée