Data Engineer - Pipelines & Lakehouse H/F

Kaizen Solutions intervient pour le compte d'un acteur majeur du secteur de l'énergie afin de renforcer une équipe Data en pleine montée en charge. Le projet porte sur la convergence et l'évolution de pipelines de données critiques, dans une architecture Data Lakehouse moderne.

L'enjeu : fiabiliser, optimiser et faire évoluer une plateforme de traitement de données distribuée, au service de plusieurs équipes métier et applicatives.

MISSIONS

Développement des pipelines de données Conception et développement d'applications distribuées (Scala/Spark et PySpark) pour l'alimentation et la transformation des données. Respect des principes de l'architecture Data Lakehouse.

Évolution de la plateforme Participation active au développement applicatif et à la convergence des flux de données existants. Contribution à l'amélioration continue des pipelines en place.

Opérabilité & support Mise en place des outils de monitoring et de supervision. Garantie de la disponibilité et de la performance de la plateforme. Support technique des équipes utilisatrices pour un usage optimal.

Collaboration transverse Travail en interaction avec plusieurs équipes techniques et métier. Capacité à formuler des recommandations et à faire des propositions d'amélioration.