Data engineer - Expert Pyspark

Dans le cadre d'un programme stratégique de modernisation de la plateforme Data, intervention en tant que Data Engineer Expert PySpark pour accompagner la migration des traitements de données d'une architecture On-Premise vers Google Cloud Platform (GCP). La mission vise à industrialiser les pipelines de données, optimiser les performances des traitements Big Data et mettre en place une architecture cloud scalable, sécurisée et résiliente.

Principales responsabilités

• Participer à la définition de l'architecture cible Data sur GCP.

• Analyser les flux et traitements existants sur l'environnement On-Premise.

• Concevoir et développer des pipelines de données distribués avec PySpark.

• Migrer les traitements ETL/ELT vers les services GCP.

• Optimiser les performances des jobs Spark et réduire les temps de traitement.

• Industrialiser les workflows de traitement et d'intégration des données.

• Mettre en œuvre les bonnes pratiques de développement, de monitoring et de sécurité.

• Assurer la qualité, la fiabilité et la traçabilité des données.

• Participer aux phases de tests, validation et mise en production.

• Accompagner les équipes Data dans l'adoption des nouvelles solutions Cloud.