Data Engineer expérimenté - CDI

Nous recherchons un(e) Data Engineer pour le compte de notre client, une entreprise tech à impact. Son pôle Data vient d’être réorganisé et doit monter en puissance rapidement. Vous intégrerez une équipe de Data Engineers et travaillerez au quotidien avec les Data Analysts et Data Scientists.

Vos missions :

1. Migrer les pipelines vers une nouvelle architecture

• Auditer les tables et pipelines existants pour identifier ceux qui peuvent être migrés.

• Migrer les pipelines de l’architecture actuelle (MVP) vers la nouvelle (MMP), en lien avec les Data Analysts, pour modéliser et déployer les nouveaux flux.

• Décommissionner les anciens pipelines tout en garantissant le bon fonctionnement de l’existant (Azure Synapse).

2. Maintenir et faire évoluer l’infrastructure Data

• Assurer le maintien en conditions opérationnelles de la Data Stack (Airflow, Microsoft Fabric…) : qualité des données, observabilité, alerting.

• Faire évoluer l’infrastructure pour répondre aux enjeux de scalabilité et de maîtrise des coûts, ainsi qu’aux nouveaux usages, comme l’adoption de Fabric par les Data Analysts et Data Scientists.

3. Gouvernance et conservation des données

• Appliquer dans la Data Stack les règles de conservation des données définies par l’organisation.

• Garantir que les flux respectent les politiques de rétention et d’archivage.

4. Vie d’équipe et documentation

• Participer aux rituels agiles : daily, refinement, sprint planning et rétrospective.

• Documenter les travaux (dictionnaire de données, analyses exploratoires).