Data Engineer - Lille - Freelance

Contexte

L'entreprise conçois et opère sa plateforme globale à travers 2 couches stratégiques :

• Le Socle d'Infrastructure Standardisé (Infrastructure Plane) : Nous masquons la complexité technique du cloud en fournissant des services managés clés en main dédiés à l'ingestion, au calcul et à la distribution des flux de données (GCP, Kafka, BigQuery).

• Le Plan d'Expérience des Produits de Données (Data Product Plane) : Nous mettons à disposition des équipes métiers l'outillage logiciel nécessaire pour concevoir, valider et gouverner leurs propres actifs de données en toute autonomie.

La feuille de route : simplification et révolution technologique
Nous faisons évoluer notre architecture historique (microservices Python/FastAPI sur GCP) vers un écosystème ouvert, moderne et standardisé (notamment articulé autour de dbt et Argo Workflows). Vos chantiers prioritaires s'articuleront autour de deux axes majeurs :

• Garantir une visibilité universelle (Observabilité) : intégrer des standards ouverts (comme OpenLineage) au cœur de notre plateforme. L'objectif est de cartographier la traçabilité de bout en bout, de monitorer la fiabilité des données et d'automatiser la remédiation en cas d'anomalie, quels que soient les outils utilisés par les métiers.

• Tracer le golden path des développeurs (DevEx) : concevoir des bibliothèques, des utilitaires d'automatisation et des briques logicielles autonomes dotées de capacités agentiques. Ce dispositif permettra de supprimer les frictions du cycle de mise en production et de systématiser la création des Data Products.

Missions

• Développer une plateforme de gestion et d'observabilité des données BigQuery

• Concevoir des API robustes, évolutives et performantes en Python (FastAPI, Flask, etc.)

• Intégrer des standards ouverts d'observabilité (OpenLineage)

• Automatiser la remédiation en cas d'anomalie sur les données

• Concevoir des bibliothèques et utilitaires d'automatisation avec des capacités agentiques

• Participer à la simplification et à la modernisation de l'architecture existante

• Collaborer avec les équipes métiers pour fournir des outils logiciels adaptés à leurs besoins

Outils & Environnement

• Python (expert)

• Workflow data (confirmé)

• Google Cloud Platform (Cloud Run, Pub/Sub, BigQuery)

• Kafka

• dbt

• Argo Workflows

• Docker

• Cloud Build

• Terraform

• Microservices Python/FastAPI

• Méthodologies Scrum ou Kanban

• Standards ouverts d'observabilité (OpenLineage)

Conditions de travail

• Date de démarrage : 01/07/2026

• Date de fin : 31/12/2026

• Nombre de jours souhaitables sur site : 2 jours par semaine