Consultant Data Engineer (DBT / Spark / Databricks / Python)

ontexte de la mission

Dans le cadre du renforcement de sa plateforme Data, notre client recherche un Consultant Data Engineer afin de concevoir, développer et industrialiser des pipelines de données sur une architecture Cloud moderne. Le consultant interviendra au sein d'une équipe Agile et contribuera à la mise en place de traitements performants, fiables et maintenables, destinés à alimenter les différents usages analytiques et décisionnels.

• Concevoir, développer et maintenir des pipelines de données robustes et évolutifs.

• Développer et optimiser les transformations de données avec dbt.

• Concevoir et maintenir des traitements distribués avec Apache Spark.

• Développer des notebooks et des workflows sur Databricks.

• Développer des scripts et composants en Python pour l'ingestion, le traitement et l'automatisation des données.

• Optimiser les performances des traitements de données et réduire les temps d'exécution.

• Mettre en œuvre les bonnes pratiques de qualité de données, de tests et de documentation.

• Participer aux revues de code et à l'amélioration continue des développements.

• Collaborer avec les équipes Data, BI, Data Science et métiers afin de répondre aux besoins fonctionnels.

• Assurer le support technique et la maintenance des pipelines en production.