Data Engineer Databricks - Freelance

Contexte

Dans le cadre du programme de transformation, un grand groupe industriel met en œuvre une plateforme Data moderne basée sur des technologies cloud (AWS) et orientée Data Platform industrielle et scalable.
Cette plateforme vise à :

• Centraliser et industrialiser les flux de données (data ingestion, transformation, exposition)

• Accélérer les usages métiers (reporting, analytics…)

• Garantir la gouvernance et la qualité des données à l’échelle du groupe

La mission s’inscrit au sein de l’équipe Data Platform, avec un fort enjeu de :

• Mise à l’échelle des pipelines

• Industrialisation des pratiques Data Engineering

• Intégration des usages IA

Missions

• Développer des pipelines Data robustes, industrialisés et documentés

• Contribuer à la montée en maturité de la plateforme Data

• Accélérer les usages Data et IA

Outils & Environnement

• Cloud : AWS

• Data Platform : Databricks (Lakehouse)

• Streaming : Kafka

• Data Governance : Unity Catalog, Collibra

• CI/CD : GitHub

• Visualisation : Power BI

Livrables spécifiques

• Dossier d’architecture - Technique