Senior Data Engineer - CDI

Dans le cadre du programme DEP (Data Exchange Platform), le client construit une plateforme de données on-premise pour le un ministère. La plateforme doit répondre à des exigences strictes de sécurité, de gouvernance et de souveraineté des données.

Vous rejoindrez une équipe en interne et travaillerez aux côtés d'un Data Architect, d'un Solution Architect et un BI developer.

Vos missions principales

Ingestion & pipelines de données

• Concevoir et déployer des pipelines d'ingestion depuis des sources hétérogènes : fichiers , APIs, bases relationnelles.

• Implémenter des pipelines pour l'ingestion incrémentale et en streaming.

• Assurer la fiabilité, l'idempotence et la traçabilité de chaque pipeline.

Transformation & couche sémantique

• Développer les modèles de transformation sur les couches Bronze, Silver et Gold. (Architecture medallion)

• Implémenter les bonnes pratiques d'historisations de données (ex: SCD2, upsert, append only,...).

• Développer les exports vers Delta Lake

Transactions ACID & Time Travel

• Gérer et maintenir les tables Delta Lake.

• Garantir la cohérence transactionnelle des données dans un environnement multi-domaines.

Orchestration

• Implémenter et maintenir les assests à orchestrer.

• Monitorer les runs, gérer les erreurs et automatiser les alertes.

Gouvernance & lignage

• Pousser les métadonnées techniques et business vers la plateforme de data.

• Maintenir le lignage de bout en bout.

• Contribuer à la rédaction des DUA, SLA et documents de gouvernance associés.

Exposition des données

• Développer des endpoints pour exposer la couche Gold aux Dashboards BI.

• Collaborer avec les équipes reporting pour l'alimentation des dashboards BI