Data Engineer Big Data Confirmé (H/F)

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Engineer Big Data Confirmé (H/F) à Lyon, France.

Les missions attendues par le Data Engineer Big Data Confirmé (H/F) :

• Développement & Industrialisation Big Data : Concevoir, développer et optimiser des pipelines de données massives en pySpark, gérer leur ordonnancement et garantir un haut niveau de qualité logicielle (couverture de tests > 80 %, CI/CD).

• Supervision & Run : Mettre en place des tableaux de bord de suivi de performance et de qualité de données et assurer le MCO et la gestion des incidents en production.

• Architecture & Accompagnement : Proposer des évolutions d'architecture de données (approche Médaillon compatible Cloud) et accompagner les Data Scientists de l'équipe dans l'industrialisation de leurs modèles et codes d'expérimentation.

• Migration Cloud (Databricks) : Préparer, tester et réaliser la migration des pipelines existants (Hadoop/HDFS) vers Databricks / Delta Lake.

• Conseil & Partage : Assurer une veille technologique active, animer des ateliers de bonnes pratiques (performance Spark, qualité de code)

Environnement technique

• Langages & Big Data : Python, pySpark, SQL (PostgreSQL)

• Plateformes Data : Hadoop / HDFS (actuel) /Databricks / Delta Lake (cible 2027)

• Orchestration & DevOps : Airflow, GitLab, GitLab-CI/CD

• BI & Gestion de projet : PowerBI, Jira, Confluence

Impératifs

Data Engineering & pySpark massif : Au moins 5 ans d'expérience en Data Engineering, dont une pratique approfondie de pySpark (conception et mise en production de pipelines traitant plusieurs dizaines de millions de lignes).

Maîtrise Spark en production (Databricks / Hadoop)

Expérience avérée du Run en production : Une expérience significative en mise en production, optimisation, maintenance (MCO) et supervision de pipelines Spark (monitoring, contrôles qualité de données, gestion des incidents).

Localisation : Lyon

Démarrage : ASAP

TJM : 440 €

Profil recherché

Compétences techniques et fonctionnelles attendues :
- Python - Confirmé - Indispensable
- Data Engineering - Confirmé - Indispensable
- SQL - Confirmé - Souhaitable
- Produits Databricks - Confirmé - Indispensable
- PySpark - Confirmé - Indispensable