📌 Contexte de la mission

Dans le cadre du développement de ses plateformes digitales, la Digital Factory de TotalEnergies recherche un(e) Data Engineer Senior pour intégrer une squad produit pluridisciplinaire au sein d’un environnement Agile mature.

Le consultant interviendra sur la conception, le développement et l’industrialisation de pipelines de données complexes, en garantissant la qualité, la performance et la scalabilité des solutions mises en œuvre. Il collaborera étroitement avec les équipes produit, les architectes, les Chapter Leads et les experts techniques afin de répondre aux besoins métiers tout en respectant les standards de la Digital Factory.

Mission basée à Paris avec une présence sur site de 3 jours par semaine et 2 jours de télétravail.

🎯 Missions principales et rôle

Ingénierie & Développement

• Concevoir et développer des pipelines de données robustes et performants.

• Participer à la conception des architectures de données répondant aux besoins du produit.

• Développer et maintenir les traitements de collecte, transformation et valorisation des données.

• Assurer la qualité du code en appliquant les principes de Clean Code, DDD et les bonnes pratiques de développement.

• Participer aux revues de code et à la documentation technique des solutions.

Industrialisation & Performance

• Mettre en œuvre des mécanismes d’observabilité (monitoring, alerting, logs).

• Optimiser les performances des traitements et les coûts d’infrastructure dans une logique FinOps.

• Garantir la sécurité, la conformité et la qualité des données.

• Participer à l’industrialisation des processus de déploiement et d’exploitation.

Expertise & Support Technique

• Traduire les besoins métiers en solutions techniques adaptées.

• Participer aux cérémonies Agile et contribuer à l’analyse de faisabilité des User Stories.

• Identifier, analyser et résoudre les incidents de production.

• Contribuer au partage de connaissances et à l’amélioration continue au sein de la communauté Data.

🎯 Objectifs de la mission

• Concevoir et industrialiser des pipelines de données performants et maintenables.

• Assurer l’alimentation et la transformation de données chaudes (Near Real Time via Azure Event Hub) et froides (Azure Data Lake).

• Garantir la fiabilité, la qualité et la disponibilité des flux de données.

• Contribuer à l’amélioration continue des pratiques d’ingénierie Data.

• Participer activement à la réussite des produits digitaux de la Digital Factory.

🛠️ Compétences requises

Environnement Cloud & Data

• Expertise Azure Cloud Services :

  • Azure Functions

  • Azure Data Lake Storage (ADLS Gen2)

  • Azure Container Instances

  • Azure Event Hubs

• Maîtrise des architectures de traitement de données en temps réel et batch.

• Solide connaissance des bases de données relationnelles.

• Bonne maîtrise des bases de données NoSQL.

Développement & Transformation

• Excellente maîtrise de Python.

• Maîtrise avancée de Pandas.

• Développement de scripts de transformation et de contextualisation de données.

• Connaissances en Data Science appréciées.

Qualité & Industrialisation

• Git et GitHub.

• Pytest.

• Ruff / Black.

• Monitoring, observabilité et gestion des performances.

• Bonnes pratiques de sécurité des données.

Méthodologies

• Agile.

• Clean Code.

• Domain Driven Design (DDD).

• Peer Review.

👤 Profil recherché

• Minimum 5 ans d’expérience en Data Engineering.

• Expérience significative dans la conception et le déploiement de pipelines de données complexes.

• Solide expérience sur Azure et les services Data associés.

• Capacité à évoluer dans un environnement Agile et produit.

• Excellent esprit d’analyse et de résolution de problèmes.

• Autonomie, rigueur et sens des responsabilités.

• Bon relationnel et capacité à collaborer avec des interlocuteurs techniques et métiers.

• Forte culture qualité et amélioration continue.