Data Engineer GCP

En lien avec l’équipe de production applicative / DevOps, vous serez en charge de la mise en œuvre technique des demandes métier dans le cadre du projet DataOps. Vous interviendrez sur l’ingestion, la préparation et la transformation des données ainsi que sur l’évolution des pipelines au sein de l’environnement GCP.

Votre rôle

Ingestion et transformation des données

·       Mettre en œuvre de nouvelles ingestions de données dans Cloud Storage et BigQuery

·       Développer les traitements de préparation et de transformation des données

·       Développer et maintenir les traitements en Python et SQL, notamment avec Pandas et/ou Dask

·       Intervenir sur les traitements distribués s’appuyant sur Spark lorsque nécessaire

Développement et évolution des pipelines

·       Maintenir et faire évoluer les outils de gestion des pipelines de données

·       Développer et maintenir les scripts Bash nécessaires à leur exécution

·       Assurer le suivi et l’ordonnancement des traitements avec les outils du périmètre, notamment Control-M

·       Analyser et résoudre les problématiques techniques liés aux traitements et aux pipelines

Evolution de la plateforme Data

·       Identifier les besoins d’évolution de la plateforme liés aux traitements et pipelines de données

·       Rédiger les spécifications techniques nécessaires aux évolutions mises en œuvre

·       Formaliser et transmettre à l’équipe DevOps les demandes relatives aux évolutions de la plateforme

________