Data Engineer Hadoop / PySpark

En lien avec l’équipe de production applicative / DevOps, vous serez en charge de la mise en œuvre technique des évolutions du Data Lake. Vous interviendrez sur l’ingestion, la préparation et la transformation des données ainsi que sur l’évolution des pipelines.

Votre rôle

Ingestion et transformation des données

·       Mettre en œuvre de nouvelles ingestions de données au sein du Data Lake

·       Développer les traitements de préparation et de transformation des données

·       Développer les traitements associés en Python, PySpark et Hive

Développement et évolution des pipelines

·       Maintenir et faire évoluer les outils de gestion des pipelines de données

·       Développer et maintenir les traitements en PySpark et les scripts Shell associés

·       Analyser et résoudre les problématiques techniques sur le périmètre

Evolution de la plateforme Data

·       Identifier les besoins d’évolution de la plateforme liés aux traitements et pipelines de données

·       Formaliser et transmettre à l’équipe DevOps les demandes relatives aux évolutions de la plateforme

·       Rédiger les spécifications techniques nécessaires aux évolutions mises en œuvre