Senior Data Engineer – Plateforme de données de comptage

Notre client dans le secteur Énergie et ressources naturelles recherche un/une Senior Data Engineer – Plateforme de données de comptage H/F

Description de la mission :

Contexte

Un acteur majeur du secteur de l’énergie souhaite mieux exploiter ses données afin de développer de nouvelles offres, de réduire les risques opérationnels et d’améliorer l’efficacité de ses équipes. Dans le périmètre B2B, un projet stratégique vise à collecter et suivre des indicateurs cohérents sur les activités d’approvisionnement dans plusieurs pays, à partir d’un référentiel de données commun et d’un cadre de gouvernance.

La plateforme Big Data existante collecte de grands volumes de données relatives à l’électricité et au gaz (allocation, consommations, points de livraison, entre autres) provenant d’entités locales. Déjà déployée en France, elle doit être étendue à d’autres pays. L’équipe centrale construit et améliore le framework commun et accompagne les déploiements locaux.

Mission

Concevoir et développer les composants d’ingestion, de traitement, de normalisation et de distribution des données de la plateforme. Contribuer à l’évolution du framework commun et accompagner la mise en production ainsi que l’exploitation des services dans un contexte international.

Principales responsabilités

• Concevoir et développer l’ingestion des données.

• Développer les traitements et la normalisation des données, puis leur distribution aux différentes parties prenantes.

• Faire évoluer le framework commun : monitoring, CI/CD, tests, performance, résilience, bonnes pratiques et qualité du code.

• Promouvoir et faire respecter les guidelines d’architecture et d’utilisation du framework auprès des autres équipes.

• Recueillir, challenger et affiner les besoins métier, puis concevoir des solutions conformes aux standards d’architecture.

• Piloter les développements en tant que profil senior ou expert, avec un code efficace, réutilisable et testé.

• Identifier les goulets d’étranglement et les bugs, et proposer des solutions.

• Livrer des services prêts pour la production et accompagner leur phase de run, notamment à l’aide d’outils de monitoring et d’alerting.

• Rédiger et maintenir la documentation technique en anglais.

Environnement technique

• Développement : Python, Git, API, programmation orientée objet, packaging et modularité

• Architecture data : architecture en couches, solutions de stockage et d’exposition

• Big Data : HDFS, S3, Parquet, Spark, AWS Glue, pipelines et traitements distribués

• Optimisation : SQL, stockage, code, dimensionnement d’infrastructure, partitioning, bucketing, indexation, caching, optimisation mémoire et requêtes

• Cloud : AWS, IAM, Lambda, EventBridge, Step Functions, CloudWatch

• DevOps et industrialisation : CI/CD, infrastructure as code, Git flow

• Données : structures de données, modélisation et SQL

Livrables attendus

• Composants et services de données prêts pour la production.

• Évolutions du framework commun, notamment en matière de monitoring, CI/CD, tests, performance et résilience.

• Documentation technique maintenue en anglais.