🧩 Lead Data Engineer – Hadoop / Spark / Python (Contexte Big Data) - Freelance

Taux journalier (TJM): 💶 Budget : 500 € HT/j max / 50-60 Keuros annuel (selon profil)

🧩 Lead Data Engineer – Hadoop / Spark / Python (Contexte Big Data)

🗂️ Informations pratiques
📍 Département : Lyon (69)
🗓️ Démarrage : 20/04/2026
⏳ Durée : 36 mois, reconductible
🧾 Contrat : CDI ou freelance
💶 Budget : 500 € HT/j max / 50-60 Keuros annuel (selon profil)
🧑‍💻 Télétravail : 2 jours/semaine
🧠 Séniorité : senior (+7 ans)
👤 Poste ouvert : 1
🌍 Secteur : Protection sociale / Data

🧩 Contexte

Dans un environnement Big Data critique, vous intervenez sur une plateforme Hadoop Cloudera dédiée à la gestion et à l’exploitation de volumes importants de données.

La mission s’inscrit dans un contexte de renforcement des capacités data avec des enjeux forts autour de la performance, de la maintenabilité et de l’industrialisation des traitements.

Vous rejoignez une équipe data avec un rôle clé à la fois technique et transverse, incluant du lead technique et de l’accompagnement.

🎯 Missions principales

• Prendre en charge les évolutions et la maintenance des pipelines d’alimentation du Data Lake

• Développer et optimiser les traitements Big Data (Spark / Hive / SQL)

• Mettre en place des extractions de données complexes

• Assurer un rôle de lead technique (revue de code, cadrage technique, accompagnement)

• Participer au support niveau 2 et à la résolution d’incidents

• Optimiser les performances des traitements et de la plateforme

• Structurer l’activité (JIRA, documentation, bonnes pratiques)

• Réaliser du reverse engineering sur un SI data existant

• Accompagner les utilisateurs et diffuser les bonnes pratiques

🛠️ Environnement technique

Big Data

• Hadoop (Cloudera)

• Hive / Impala

• Spark / PySpark

• YARN

Langages & scripting

• Python (data processing / scripting)

• Shell avancé (bash)

• SQL (niveau intermédiaire à avancé)

Data Engineering

• Pipeline data (jointures, optimisation, partitionnement…)

• Optimisation Hive / Spark

• Gestion de fichiers HDFS

Outils

• Linux

• JIRA

• VBA / Jupyter (ponctuel)

Bonus

• Kafka

• Zeppelin