Senior Data Engineer

Dans le cadre de notre développement, nous cherchons à renforcer notre équipe avec un·e Senior Data Engineer capable de prendre l’ownership technique de notre plateforme data.

Notre plateforme repose aujourd’hui principalement sur GCP, BigQuery, SQLMesh et Python. Elle a été initialement construite avec l’aide d’un prestataire externe et doit désormais être pleinement maîtrisée et exploitée en interne.

Le rôle est donc particulièrement important : il ne s’agit pas de repartir d’une page blanche, mais de comprendre l’existant, d’en reprendre progressivement la maîtrise, de fiabiliser ce qui doit l’être et de faire évoluer la plateforme de manière structurée.

L’objectif est simple : garantir que les données dont nous avons besoin soient disponibles, fiables, compréhensibles, correctement modélisées et observables lorsqu’un problème survient.

Tu travailleras en forte proximité avec les équipes data, backend et infrastructure, notamment sur les sujets d’ingestion, de modélisation, de qualité des données, d’observabilité et de contrats avec les systèmes sources.

Tes missions

Tu seras amené·e à :

• Prendre l’ownership technique de notre plateforme data et de notre data warehouse.

• Comprendre et faire évoluer l’architecture existante ainsi que les différents flux de données.

• Maintenir et faire évoluer les pipelines d’ingestion et intégrer de nouvelles sources.

• Garantir la fraîcheur, la disponibilité et la fiabilité des données.

• Concevoir et maintenir les différents niveaux de modélisation : données ingérées, staging, modèles métier, dimensions, faits et marts.

• Faire évoluer les transformations et modèles avec SQLMesh.

• Mettre en place et renforcer les tests et contrôles de qualité : unicité, nullabilité, cohérence, complétude, fraîcheur, variations anormales…

• Mettre en place une observabilité efficace pour détecter rapidement les problèmes de données.

• Diagnostiquer les incidents, identifier leur origine et remettre les traitements en fonctionnement.

• Travailler avec les équipes backend pour définir des contrats de données suffisamment stables et éviter que les consommateurs data dépendent directement des détails internes des applications.

• Participer à la maîtrise et à l’optimisation des coûts de la plateforme data.

• Collaborer avec notre Data Analyst sur les besoins analytiques, les usages et les modèles nécessaires aux différents consommateurs.

• Participer aux choix d’architecture et faire évoluer progressivement les composants qui présentent les risques ou limites les plus importants.

Stack

La plateforme data repose principalement sur :

• GCP

• BigQuery

• SQLMesh

• Python

• Git

• CI/CD

• Infrastructure as Code (Pulumi)

• Cloud Run / Cloud Batch