OmDev Logo
GetYourJob
0
Publié aujourd'hui

Data Engineer Big Data Confirmé (H/F)

Entreprise
Localisation
Lyon, Auvergne-Rhône-Alpes
Hybride
Type de contrat
Freelance
Niveau
Confirmé
Rémunération
400 – 450 €/jour• Taux journalier

Salaire du marché

Médiane du marché
450€/j
Dans le marché
425€/jfourchette habituelle450€/j
Cette offre : 425€/j

Basé sur 12 offres pour ce poste (Confirmé, Lyon, 3 derniers mois). Fourchette habituelle 425€/j–450€/j, médiane 450€/j. Cette offre (425€/j) est dans la fourchette.

TJM du marché pour Data Engineer (Confirmé) à Lyon : médiane 450 €/jour, P25–P75 : 425–450 €/jour, n = 12 offres des 3 derniers mois. TJM Python à Lyon

Baromètre TJM et salaires IT

Description du poste

Nous recherchons un(e) Data Engineer Confirmé(e) pour rejoindre une équipe produit agile au sein d'un acteur majeur du secteur de l'énergie.

Vous évoluerez dans un environnement innovant dédié au traitement et à la valorisation de données issues d'équipements connectés et d'infrastructures à l'échelle nationale. Votre terrain de jeu : des produits data en constante évolution, traitant des volumes massifs (plus de 25 millions d'adresses et 40 millions de clients), avec un enjeu stratégique majeur de migration vers le Cloud (Databricks) à l'horizon 2027.

Descriptif de la mission :

  • Développement & Industrialisation Big Data : Concevoir, développer et optimiser des pipelines de données massives en pySpark, gérer leur ordonnancement et garantir un haut niveau de qualité logicielle (couverture de tests > 80 %, CI/CD).

  • Supervision & Run : Mettre en place des tableaux de bord de suivi de performance et de qualité de données (en lien avec le DevOps), et assurer le maintien en condition opérationnelle (MCO) et la gestion des incidents en production.

  • Architecture & Accompagnement : Proposer des évolutions d'architecture de données (approche Médaillon compatible Cloud) et accompagner les Data Scientists de l'équipe dans l'industrialisation de leurs modèles et codes d'expérimentation.

  • Migration Cloud (Databricks) : Préparer, tester et réaliser la migration des pipelines existants (Hadoop/HDFS) vers Databricks / Delta Lake.

  • Conseil & Partage : Assurer une veille technologique active, animer des ateliers de bonnes pratiques (performance Spark, qualité de code) et jouer un rôle de référent technique auprès des autres équipes.

Profil recherché

  1. Expérience significative en Data Engineering & pySpark massif : Au moins 5 ans d'expérience en Data Engineering, dont une pratique approfondie de pySpark (conception et mise en production de pipelines traitant plusieurs dizaines de millions de lignes).

  2. Maîtrise Spark en production (Databricks / Hadoop) : Une expérience concrète et significative des traitements Spark en production sur Databricks (fortement privilégié) et/ou sur un cluster Hadoop.

  3. Expérience avérée du Run en production : Une expérience significative en mise en production, optimisation, maintenance (MCO) et supervision de pipelines Spark (monitoring, contrôles qualité de données, gestion des incidents).

Environnement technique

  • Langages & Big Data : Python, pySpark, SQL (PostgreSQL)

  • Plateformes Data : Hadoop / HDFS (actuel) /Databricks / Delta Lake (cible 2027)

  • Orchestration & DevOps : Airflow, GitLab, GitLab-CI/CD

  • BI & Gestion de projet : PowerBI, Jira, Confluence

Compétences complémentaires & Savoir-être

  • Maîtrise des outils de l'écosystème : Bonne connaissance d'un outil d'ordonnancement (Airflow), de SQL (PostgreSQL) et des chaînes d'intégration/déploiement continu (GitLab-CI).

  • Les « plus » appréciés : Une expérience sur des référentiels d'adresses ou le traitement de données géospatiales (Apache Sedona, GeoPandas).

  • Soft skills : Autonome, rigoureux(se) et proactif(ve), vous avez le sens de l'industrialisation et savez communiquer avec pédagogie auprès d'interlocuteurs variés (Data Scientists, métiers, DevOps).


Exigences du poste

Compétences requises

  • Airflow
  • Data Engineering
  • Databricks
  • PySpark
  • Python
  • SQL

Un plus

  • Agile
  • Cloud
  • Monitoring / Observability
  • DevOps
  • MCO
  • Hadoop
  • HDFS
  • Apache Spark
  • PostgreSQL
  • GitLab
  • Business Intelligence
  • Power BI

Toutes les offres Python à Lyon

Plan d'action

Un plan personnalisé pour postuler intelligemment à cette offre.

À propos de l'entreprise

Basée à Lille, Lyon, Grenoble, Nantes et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et sourcing des Freelances IT et Métier. Nous accompagnons au quotidien les entreprises dans leurs projets de transformation informatique et fonctionnelle en leur dénichant de nouveaux talents indépendants. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Faites confiance à Insitoo pour trouver votre prochaine mission freelance ! Chez Insitoo, nous avons une certitude : notre métier est bien plus que de la mise en relation, c’est un véritable partenariat. Entreprises • Nous vous facilitons l’accès à de nouveaux talents en mettant en avant leurs compétences et leurs recommandations vérifiées. Freelances • Nous boostons vos atouts grâce à notre connaissance de votre parcours, notre suivi personnalisé de vos missions et vos recommandations en ligne.

Voir toutes les offres de Insitoo Freelances

Publié par

Recruteur
Recruteur

Intéressé par cette offre ?

Cliquez sur "Postuler" pour accéder à l'offre.