Senior Data Engineer / Data Engineering Tech Lead - Freelance

Missions

Le Senior Data Engineer / Data Engineering Tech Lead sera responsable des fondations techniques qui rendent les données 24/7 utilisables, fiables et évolutives. Ce rôle senior est très opérationnel avec des responsabilités légères de leadership technique, et non un poste généraliste en développement .NET. L'accent est mis sur l'ingestion, la transformation, la qualité des données, la traçabilité, l'observabilité et la livraison sécurisée de produits de données et de jeux de données prêts au calcul. Le rôle guide les choix et standards techniques tout en continuant à concevoir et construire des composants critiques directement. Travaillant au sein de l'équipe fonctionnelle 24/7, le Senior Data Engineer / Data Engineering Tech Lead collaborera avec le Product Owner, les Business Analysts, les ingénieurs logiciels, les architectes, les équipes plateforme data et les parties prenantes pays. La personne doit être à l'aise pour livrer des solutions tactiques sans perdre de vue l'architecture cible et les capacités réutilisables.

Responsabilités principales

A. Architecture des données et intégration des sources

• Contribuer à l'architecture des données de bout en bout et documenter les flux, interfaces, dépendances et responsabilités actuels et cibles.

• Concevoir et construire des pipelines d'ingestion à partir de jeux de données internes, bases de données, API REST, flux partenaires et échanges de fichiers contrôlés.

• Intégrer des données pays hétérogènes tout en isolant la logique spécifique aux sources via des connecteurs réutilisables et des contrats d'interface clairs.

• Implémenter des traitements batch et, lorsque justifié par les niveaux de service métier, des patterns quasi temps réel ou streaming.

• Définir une gestion robuste de l'évolution des schémas, des données tardives, des rejouages, de l'idempotence, des backfills et des enregistrements échoués.

• Collaborer avec les équipes plateforme pour décider quand 24/7 doit consommer des produits de données existants ou des capacités partagées de séries temporelles plutôt que dupliquer des copies locales.

B. Ingénierie des séries temporelles et modélisation des données

• Concevoir des structures évolutives pour des données d'intervalle à fort volume, incluant la consommation client et la production d'actifs.

• Définir et maintenir des modèles canoniques pour client, entité légale, site, point de comptage, contrat, actif, allocation, certificat, série temporelle, résultat de matching et période de reporting.

• Appliquer des patterns de modélisation adaptés aux données opérationnelles applicatives, produits analytiques et jeux de données prêts au calcul.

• Gérer les fuseaux horaires, transitions heure d'été, granularité des intervalles, unités de mesure, intervalles manquants, doublons et corrections versionnées.

• Optimiser le stockage, le partitionnement, l'indexation et la performance de traitement selon les charges et exigences de rétention.

C. Transformation des données et activation des calculs

• Construire des transformations testées standardisant les données sources en courbes de consommation et production prêtes au calcul.

• Permettre le Hourly Matching Score et les indicateurs clients associés via des jeux de données et services de calcul reproductibles et versionnés.

• Collaborer avec les spécialistes métier et produit pour traduire les règles de calcul en spécifications techniques explicites et tests automatisés.

• Préserver la distinction entre mesures opérationnelles provisoires et résultats de reporting validés ou certifiés.

D. Qualité des données, traçabilité et observabilité

• Mettre en œuvre des contrôles automatisés de complétude, validité, actualité, unicité, cohérence et intégrité référentielle.

• Définir des contrôles de réconciliation entre données sources, ingérées, transformées et reportées.

• Fournir une traçabilité technique complète, métadonnées d'exécution et preuves auditables des versions source, transformation et calcul.

• Créer des tableaux de bord de monitoring, alertes et opérationnels couvrant la fraîcheur, les échecs de pipeline, les enregistrements rejetés et le respect des niveaux de service.

• Contribuer à l'analyse des incidents, correction des causes racines et prévention des récidives.

E. Ingénierie, sécurité et exploitation

• Utiliser un développement basé sur Git, revue par les pairs, tests automatisés et CI/CD pour livrer des pipelines de données fiables.

• Contribuer à l'Infrastructure as Code et à la configuration des environnements avec les équipes DevOps et plateforme.

• Appliquer la sécurité dès la conception : accès au moindre privilège, gestion des secrets, chiffrement, séparation des environnements et traitement sécurisé des données clients.

• Produire un code maintenable, des runbooks, des décisions d'architecture, des contrats de données et une documentation opérationnelle.

• Participer aux cérémonies Agile tout en maintenant un backlog technique pour la fiabilité, l'évolutivité et la dette technique.

Leadership technique opérationnel attendu

• Agir comme référence senior en ingénierie des données au sein de la squad 24/7 tout en restant directement impliqué dans la conception, le codage, les tests et le support en production.

• Définir des patterns d'ingénierie pragmatiques pour ingestion, transformation, tests, déploiement, monitoring et récupération, en assurant leur adoption cohérente.

• Piloter les revues techniques et de code ; coacher les ingénieurs logiciels contribuant aux flux de données sans devenir manager.

• Remettre en question les duplications tactiques et formuler des recommandations explicites build-versus-reuse avec les parties prenantes plateforme B2B et architecture.

• Transformer des exigences ambiguës et des sources fragmentées en décisions techniques séquencées, incréments livrables et backlog technique contrôlé.

• Assumer les décisions clés non fonctionnelles couvrant scalabilité, fiabilité, sécurité, opérabilité, maintenabilité et coût.

Domaines de données prioritaires

• Données de référence client, entité légale, site et point de livraison.

• Paramètres contractuels, engagements de matching cible et calendriers de reporting.

• Données de consommation client horaire ou sub-horaire et données de compteur.

• Identité, caractéristiques et données de production d'actifs renouvelables ou carboneutres.

• Allocation des actifs et volumes d'énergie aux contrats.

• Certificats ou Garanties d'Origine et preuves associées.

• Résultats de matching, versions méthodologiques et sorties de reporting client.

Outils & Environnement

• Python avancé et SQL pour le traitement de données en production

• Pipelines de données intégrant API, bases de données et fichiers

• Git, revue de code, CI/CD et promotion d'environnements

• Cloud data engineering sur Azure ou AWS

• Outils de logging, monitoring, alerting et gestion des incidents

• Sécurité des accès aux données et gestion des secrets

• Databricks, Spark, Delta Lake, Unity Catalog (fortement apprécié)

• Plateformes spécialisées séries temporelles comme PostgreSQL / TimescaleDB

• Architecture Data Lake / Lakehouse

• Services temps réel ou streaming (Kafka, Event Hubs ou équivalent)

• Terraform ou autre outil Infrastructure-as-Code

• Outils de catalogage, traçabilité et gouvernance des données

• Power BI ou intégration couche sémantique

• Outils d'ingénierie assistée par IA dans un cadre sécurisé

Conditions de travail

• Contrat et détails non spécifiés

• Localisation non précisée

• Collaboration avec équipes internationales et multi-pays

• Environnement Agile avec forte interaction métier et technique

Compétences

• Anglais : Junior (< 3 ans)

• AWS : Junior (< 3 ans)

• Python V3 : Junior (< 3 ans)

• SQL : Junior (< 3 ans)