Senior Data Engineer – Plateforme de données de comptage

Notre client dans le secteur Énergie et ressources naturelles recherche un/une Senior Data Engineer – Plateforme de données de comptage H/F

Description de la mission :

Contexte

Un acteur majeur du secteur de l’énergie souhaite mieux exploiter ses données afin de développer de nouvelles offres, de réduire les risques opérationnels et d’améliorer l’efficacité de ses équipes. Dans le périmètre B2B, un projet stratégique vise à collecter et suivre des indicateurs cohérents sur les activités d’approvisionnement dans plusieurs pays, à partir d’un référentiel de données commun et d’un cadre de gouvernance.

La plateforme Big Data existante collecte de grands volumes de données relatives à l’électricité et au gaz (allocation, consommations, points de livraison, entre autres) provenant d’entités locales. Déjà déployée en France, elle doit être étendue à d’autres pays. L’équipe centrale construit et améliore le framework commun et accompagne les déploiements locaux.

Mission

Concevoir et développer les composants d’ingestion, de traitement, de normalisation et de distribution des données de la plateforme. Contribuer à l’évolution du framework commun et accompagner la mise en production ainsi que l’exploitation des services dans un contexte international.

Principales responsabilités

Concevoir et développer l’ingestion des données.


Développer les traitements et la normalisation des données, puis leur distribution aux différentes parties prenantes.


Faire évoluer le framework commun : monitoring, CI/CD, tests, performance, résilience, bonnes pratiques et qualité du code.


Promouvoir et faire respecter les guidelines d’architecture et d’utilisation du framework auprès des autres équipes.


Recueillir, challenger et affiner les besoins métier, puis concevoir des solutions conformes aux standards d’architecture.


Piloter les développements en tant que profil senior ou expert, avec un code efficace, réutilisable et testé.


Identifier les goulets d’étranglement et les bugs, et proposer des solutions.


Livrer des services prêts pour la production et accompagner leur phase de run, notamment à l’aide d’outils de monitoring et d’alerting.


Rédiger et maintenir la documentation technique en anglais.



Environnement technique

Développement : Python, Git, API, programmation orientée objet, packaging et modularité


Architecture data : architecture en couches, solutions de stockage et d’exposition


Big Data : HDFS, S3, Parquet, Spark, AWS Glue, pipelines et traitements distribués


Optimisation : SQL, stockage, code, dimensionnement d’infrastructure, partitioning, bucketing, indexation, caching, optimisation mémoire et requêtes


Cloud : AWS, IAM, Lambda, EventBridge, Step Functions, CloudWatch


DevOps et industrialisation : CI/CD, infrastructure as code, Git flow


Données : structures de données, modélisation et SQL



Livrables attendus

Composants et services de données prêts pour la production.


Évolutions du framework commun, notamment en matière de monitoring, CI/CD, tests, performance et résilience.


Documentation technique maintenue en anglais.

Profil recherché

Profil recherché

Expérience

Plus de 7 ans d’expérience.


Expérience confirmée en génie logiciel Python, architecture data, technologies et patterns Big Data, modélisation et SQL, ainsi qu’en DevOps et industrialisation.


Pratique réelle d’AWS, avec un niveau intermédiaire minimum.



Compétences techniques

Maîtrise confirmée de Python : design, architecture, POO, packaging, modularité, réutilisabilité, Git, API et qualité de développement.


Maîtrise de l’architecture data en couches et des solutions de stockage et d’exposition.


Expérience confirmée des pipelines et traitements Big Data, notamment HDFS, S3, Parquet, Spark et Glue.


Maîtrise des patterns Big Data et de l’optimisation des systèmes distribués, des requêtes et des ressources.


Pratique d’AWS, notamment IAM, S3, Lambda, Glue, EventBridge, Step Functions et CloudWatch.


Maîtrise des structures de données, de la modélisation, de SQL, de la CI/CD, de l’infrastructure as code et de Git flow.



Compétences personnelles

Proactivité, prise d’initiative et orientation solution.


Capacité à accompagner des développeurs vers la livraison et la qualité.


Capacité à mener plusieurs sujets en parallèle.


Rigueur dans l’application des standards de développement.


Esprit d’équipe, écoute et bonnes capacités de communication.


Adaptabilité à une organisation complexe et évolutive, ouverture à la critique et volonté de comprendre le « pourquoi ».



Langues

Français courant.


Anglais courant.





Compétences / Qualités indispensables :

Développement logiciel Python, Architecture et ingénierie data Big Data, AWS et services cloud, SQL et modélisation des données, DevOps, CI/CD et industrialisation, Leadership technique et accompagnement des développeurs

Compétences / Qualités qui seraient un + :

Connaissance du secteur de l’énergie : comptage (metering), allocation, points de livraison, marchés gaz et électricité B2B. Une expérience chez ENGIE ou un autre acteur de l’énergie est idéale. Expérience de plateforme multi-pays ou multi-entités : avoir déjà déployé un framework data commun dans plusieurs filiales ou pays, si possible en ayant joué un rôle de lead technique (revues de code, standards, coaching). Outillage data et cloud avancé : Terraform ou AWS CDK, orchestration (Airflow), Delta Lake ou Iceberg, qualité et observabilité des données. Une certification AWS est un plus.

Informations concernant le télétravail :

Oui — 2 jours/semaine