Data Engineer - Migration Cloud - Pyspark / DBT - Freelance
Salaire du marché
Basé sur 32 offres pour ce poste (tous niveaux, Paris, 3 dernières semaines). Fourchette habituelle 454€/j–625€/j, médiane 535€/j. Cette offre (580€/j) est dans la fourchette.
Description du poste
Contexte
Projet de Migration Data Cloud (pyspark -> DBT)
Pôle Conception de Développement Data et IA : Collecter des données, les organiser, les traiter, les diffuser et les transformer en informations exploitables par tous les métiers de l'entreprise, être la force d'exécution de la stratégie Data.
Intelligence Artificielle : Permettre à un grand groupe d'assurance de développer des usages efficaces et responsables de l'Intelligence Artificielle au service des clients et des collaborateurs.
Le patrimoine de transformation repose aujourd'hui sur des jobs PySpark exécutés sur clusters Dataproc éphémères (logique satellite/pilote, écriture Parquet en tables externes BigLake). L'objectif est de basculer la couche transformation vers dbt sur BigQuery (pattern ELT : extraction/chargement inchangés, transformation en SQL/dbt), pour réduire le coût et la complexité d'exécution Spark, et industrialiser tests, lignage et documentation.
Missions
Migrer la logique de transformation PySpark vers des modèles dbt fonctionnellement équivalents sur BigQuery
Garantir l'iso-production (non-régression sur les données produites)
Outils & Environnement
PySpark (Dataproc) : niveau avancé
BigQuery : niveau expert
dbt : niveau expert
Exigences du poste
Stack technique :
Plan d'action
Un plan personnalisé pour postuler intelligemment à cette offre.
Publié par
Intéressé par cette offre ?
Cliquez sur "Postuler" pour accéder à l'offre.