OmDev Logo
GetYourJob
0
Publié aujourd'hui

Lead Data Engineer

Entreprise
STHREE SASCabinet de recrutement
Localisation
Paris, Île-de-France
Hybride
Type de contrat
Freelance
Niveau
Senior

Salaire du marché

Médiane du marché
600€/j
Estimation
550€/jfourchette habituelle725€/j

Cette offre n'affiche pas de TJM. D'après 42 offres pour ce poste (Senior, Paris, 3 derniers mois), le marché se situe autour de 600€/j (550€/j–725€/j).

TJM du marché pour Tech Lead (Senior) à Paris : médiane 600 €/jour, P25–P75 : 550–725 €/jour, n = 42 offres des 3 derniers mois. TJM Python à Paris

Baromètre TJM et salaires IT

Description du poste

Le Senior Data Engineer / Data Engineering Tech Lead est responsable des fondations d’ingénierie permettant de rendre les données du programme 24/7 exploitables, fiables et évolutives.

Il s’agit d’un poste d’ingénieur senior très opérationnel (hands-on) avec des responsabilités limitées de leadership technique. Ce n’est pas un poste généraliste de développement logiciel .NET. L’accent est mis sur la construction de pipelines de données de qualité industrielle : ingestion, transformation, qualité des données, traçabilité (lineage), observabilité et mise à disposition sécurisée de produits de données et de jeux de données prêts pour les calculs.

Le rôle consiste à orienter les choix techniques et les standards d’ingénierie tout en continuant à concevoir et développer directement les composants critiques.

Au sein de l’équipe produit 24/7, le/la titulaire du poste collaborera étroitement avec le Product Owner, les Business Analysts, les développeurs, les architectes, les équipes Data Platform et les parties prenantes métiers dans les différents pays.

Il/elle doit être capable de fournir des solutions tactiques à court terme tout en conservant une vision claire de l’architecture cible et des capacités réutilisables OneB2B.

Responsabilités principalesA. Architecture Data et intégration des sources
  • Contribuer à l’architecture data de bout en bout et documenter les flux de données actuels et cibles, les interfaces, dépendances et responsabilités.

  • Concevoir et développer des pipelines d’ingestion à partir de :

    • Bases de données ;

    • APIs REST ;

    • Jeux de données internes ;

    • Flux partenaires ;

    • Échanges de fichiers sécurisés.

  • Intégrer des données hétérogènes provenant de différents pays en isolant les spécificités de chaque source via des connecteurs réutilisables.

  • Mettre en œuvre des traitements batch et, lorsque nécessaire, des flux quasi temps réel ou de streaming.

  • Gérer :

    • Les évolutions de schémas ;

    • Les données arrivant en retard ;

    • Les rejouabilités (replay) ;

    • L'idempotence ;

    • Les backfills ;

    • Les données en erreur.

  • Collaborer avec les équipes plateforme pour déterminer s’il convient de réutiliser un produit de données existant plutôt que de créer une copie locale.

B. Ingénierie des séries temporelles et modélisation des données
  • Concevoir des structures évolutives pour gérer de gros volumes de données temporelles :

    • Consommation client ;

    • Production d’actifs énergétiques.

  • Définir et maintenir les modèles de référence (canonical models) pour :

    • Client ;

    • Site ;

    • Point de comptage ;

    • Contrat ;

    • Actif ;

    • Allocation ;

    • Certificat ;

    • Série temporelle ;

    • Résultat de matching ;

    • Période de reporting.

  • Appliquer les modèles de données adaptés aux usages :

    • Opérationnels ;

    • Analytiques ;

    • Jeux de données de calcul.

  • Gérer les problématiques liées :

    • Aux fuseaux horaires ;

    • Aux changements d’heure ;

    • Aux granularités temporelles ;

    • Aux unités de mesure ;

    • Aux données manquantes ;

    • Aux doublons ;

    • Aux corrections versionnées.

  • Optimiser le stockage, le partitionnement, l’indexation et les performances selon les volumes réellement observés et les règles de rétention.

C. Transformation des données et moteur de calcul
  • Développer des transformations testées permettant de standardiser les données sources en courbes de consommation et de production prêtes pour les calculs.

  • Alimenter le Hourly Matching Score et les indicateurs clients associés via des datasets reproductibles et versionnés.

  • Collaborer avec les experts métiers pour transformer les règles de calcul en spécifications techniques et tests automatisés.

  • Garantir la distinction entre :

    • Les mesures opérationnelles provisoires ;

    • Les résultats validés ou certifiés.

D. Qualité des données, traçabilité et observabilité
  • Mettre en place des contrôles automatisés sur :

    • La complétude ;

    • La validité ;

    • La fraîcheur ;

    • L’unicité ;

    • La cohérence ;

    • L’intégrité référentielle.

  • Définir des mécanismes de rapprochement entre :

    • Les données sources ;

    • Les données ingérées ;

    • Les données transformées ;

    • Les données restituées.

  • Assurer une traçabilité complète de bout en bout :

    • Origine des données ;

    • Versions des transformations ;

    • Versions des calculs ;

    • Métadonnées d’exécution.

  • Construire des tableaux de bord de supervision couvrant :

    • La fraîcheur des données ;

    • Les échecs de pipelines ;

    • Les enregistrements rejetés ;

    • Le respect des SLA.

  • Participer à l’analyse des incidents, à l’identification des causes racines et à la prévention de leur récurrence.

E. Ingénierie, sécurité et opérations
  • Utiliser les bonnes pratiques de développement :

    • Git ;

    • Revue de code ;

    • Tests automatisés ;

    • CI/CD.

  • Contribuer aux démarches Infrastructure as Code avec les équipes DevOps.

  • Appliquer les principes de sécurité "by design" :

    • Gestion des secrets ;

    • Chiffrement ;

    • Gestion des droits au moindre privilège ;

    • Séparation des environnements ;

    • Protection des données clients.

  • Produire :

    • Un code maintenable ;

    • Des runbooks ;

    • Des ADR (Architecture Decision Records) ;

    • Des contrats de données ;

    • Une documentation opérationnelle.

  • Participer aux cérémonies Agile tout en pilotant un backlog technique dédié à :

    • La fiabilité ;

    • L’évolutivité ;

    • La dette technique.

Attentes en leadership technique
  • Être la référence technique Data de l’équipe 24/7 tout en restant fortement impliqué dans :

    • La conception ;

    • Le développement ;

    • Les tests ;

    • Le support de production.

  • Définir les standards d’ingénierie pour :

    • L’ingestion ;

    • Les transformations ;

    • Les tests ;

    • Le déploiement ;

    • Le monitoring ;

    • Les mécanismes de reprise.

  • Animer les revues techniques et revues de code.

  • Accompagner les développeurs travaillant sur les flux de données sans assurer un rôle de manager hiérarchique.

  • Remettre en question les duplications inutiles et promouvoir la réutilisation des composants de plateforme.

  • Transformer des exigences ambiguës en feuilles de route techniques structurées.

  • Être responsable des décisions non fonctionnelles liées à :

    • La scalabilité ;

    • La disponibilité ;

    • La sécurité ;

    • L’exploitabilité ;

    • La maintenabilité ;

    • Les coûts.

Profil recherché

Indispensables
  • Maîtrise avancée de Python et SQL pour des traitements de données de niveau industriel.

  • Conception et exploitation de pipelines de données reposant sur :

    • APIs ;

    • Bases de données ;

    • Fichiers.

  • Capacité à transformer des besoins métier en modèles de données robustes.

  • Expérience sur des datasets volumineux et/ou temporels.

  • Mise en œuvre de :

    • Tests automatisés ;

    • Contrôles qualité ;

    • Réconciliations.

  • Git, CI/CD et gestion des environnements.

  • Data Engineering Cloud sur Azure ou AWS.

  • Logging, monitoring et troubleshooting.

  • Gestion sécurisée des accès et des secrets.

Très appréciées
  • Databricks

  • Apache Spark

  • Delta Lake

  • Unity Catalog

  • PostgreSQL / TimescaleDB

  • Architectures Data Lake et Lakehouse

  • Kafka

  • Azure Event Hubs

  • Terraform

  • Outils de Data Governance et Data Lineage

  • Secteur de l’énergie :

    • Comptage énergétique ;

    • Marchés de l’électricité ;

    • PPA (Power Purchase Agreements) ;

    • Garanties d’Origine

  • Power BI et couches sémantiques.

  • Outils d’IA assistée pour le développement.

Exigences du poste

Compétences requises

  • Azure
  • Python
  • SQL

Un plus

  • Monitoring / Observability
  • Flux
  • API Development
  • REST API
  • Reporting / Dashboards
  • Git
  • DevOps
  • Cybersecurity
  • PKI
  • Agile Ceremonies
  • Agile
  • Backlog Management

Toutes les offres Python à Paris

Plan d'action

Un plan personnalisé pour postuler intelligemment à cette offre.

À propos de l'entreprise

STHREE SASCabinet de recrutement

SThree est une société experte en recrutement pour les secteurs STEM, reconnue comme l’un des leaders du marché dans ces branches. Nous travaillons avec des entreprises de toutes tailles opérant dans divers domaines d’activités. Nos équipes offrent des solutions de recrutement pour des emplois en CDI, CDD, en assistance technique et prestation de services, de dirigeants et le conseil en gestion de talents. En effet, nous mettons en contact les professionnels avec les meilleures opportunités de l'industrie pour leur permettre d'atteindre leurs objectifs. Notre vaste réseau donne accès aux meilleurs professionnels et nos consultants spécialisés offrent une solution sur mesure en s’adaptant à vos besoins.

Voir toutes les offres de STHREE SAS

Publié par

Recruteur
Recruteur

Intéressé par cette offre ?

Cliquez sur "Postuler" pour accéder à l'offre.