Senior Data Engineer - Énergie - CDI

Contexte

Dans le cadre de l'évolution de sa plateforme Analytics, un acteur majeur du secteur de l'énergie recherche un Senior Data Engineer afin d'accompagner l'industrialisation des cas d'usage Data et Intelligence Artificielle.
La plateforme, construite sur Databricks et AWS, permet aux équipes Data, Analytics et Métiers de développer, tester et déployer des solutions à forte valeur ajoutée.
L'objectif principal du poste est d'accélérer la transformation des prototypes Analytics et Machine Learning en solutions robustes, maintenables et industrialisées, tout en renforçant les standards de développement, la gouvernance des données et l'expérience utilisateur de la plateforme.
Le poste s'inscrit dans un environnement Agile et nécessite une collaboration étroite avec les équipes Data Engineering, Data Science, Analytics, Cloud et Produit.

Missions

En tant que Senior Data Engineer, vous jouerez un rôle clé dans la structuration et l'industrialisation de la plateforme Analytics.
À ce titre, vous serez notamment amené à :

• Industrialiser les cas d'usage Analytics et Machine Learning développés sous Databricks.
• Concevoir, développer et maintenir des pipelines de données distribués à grande échelle.
• Définir et promouvoir les bonnes pratiques de développement, d'architecture et de qualité logicielle.
• Mettre en place des frameworks, templates et composants réutilisables afin d'accélérer les nouveaux développements.
• Réaliser des revues de code et accompagner les équipes dans l'amélioration continue de la qualité des développements.
• Optimiser les pipelines existants afin d'améliorer leurs performances, leur fiabilité et leur maintenabilité.
• Participer au déploiement en production des produits Analytics et IA.
• Administrer et faire évoluer l'environnement Databricks.
• Renforcer les mécanismes de gouvernance, de sécurité et de gestion des accès.
• Optimiser les coûts d'infrastructure et l'utilisation des ressources Cloud.
• Accompagner les utilisateurs de la plateforme et contribuer aux actions de formation et d'onboarding.
• Participer aux choix d'architecture et aux orientations techniques de la plateforme.

Les atouts du poste

Ce poste dépasse le périmètre traditionnel du Data Engineering. Vous contribuerez directement à l'évolution d'une plateforme Analytics stratégique en participant à :

• l'industrialisation des solutions Data et IA ;
• la définition des standards de développement ;
• l'amélioration continue de la qualité logicielle ;
• la gouvernance de la plateforme ;
• l'accompagnement des équipes dans l'adoption des bonnes pratiques.

Vous interviendrez sur des problématiques à forte dimension technique, mêlant Data Engineering, Cloud, DevOps et architecture, avec un impact direct sur la performance et la pérennité des solutions déployées.

Environnement technique

1. Cloud

   • AWS (S3, ECS, Fargate...)

2. Data Platform

   • Databricks
   • Delta Lake
   • Lakehouse Architecture

3. Data Engineering

   • Apache Spark
   • PySpark
   • SQL

4. Analytics & Machine Learning

   • MLflow
   • scikit-learn
   • TensorFlow
   • PyTorch

5. Orchestration

   • Apache Airflow

6. DevOps

   • GitLab
   • CI/CD

7. Infrastructure as Code

   • Terraform
   • Terragrunt

8. Conteneurisation

   • Docker

9. Gouvernance

   • Unity Catalog
   • Gestion des accès
   • Monitoring
   • Optimisation des coûts Cloud

10. Méthodologie

    • Agile Scrum

Conditions de travail

• Lieu de la mission : Paris
• Expérience professionnelle : minimum 8 ans
• Télétravail : 2 jours par semaine

Spécialités technologiques

• Intelligence artificielle
• Monitoring
• Tests automatisés
• Machine learning
• DevOps

Compétences requises

• Apache (7 ans)
• Docker (7 ans)
• Databricks (7 ans)
• TensorFlow (7 ans)
• GitLab (7 ans)
• SQL (7 ans)
• Airflow (7 ans)
• Fargate (7 ans)
• Python (7 ans)
• Spark (7 ans)
• CI/CD (7 ans)
• Terraform (7 ans)
• AWS (7 ans)