Data Engineer (F/H)

Votre défi  

Au cœur de notre Data Platform, vous prendrez en main des pipelines de données fiables, performants et prêts à grandir. 

Sur une stack moderne (Dagster, S3, AWS), vous construirez une architecture medallion (bronze / silver / gold) en production. 

Votre rôle est central : garantir une donnée de qualité, socle de nos équipes métiers, de nos modèles ML et de nos APIs. 

Vos responsabilités 

Ingestion & stockage 

• Concevoir et maintenir des pipelines de données robustes avec Dagster (assets, sensors, partitions, lineage) 

• Ingérer des sources hétérogènes : APIs REST, webhooks, fichiers, bases de données 

• Implémenter l'architecture medallion S3 Bronze → Silver → Gold 

• Administrer et optimiser les tables Postgre, MariaDB ... (schémas, index, TTL), et implémenter des stratégies de partitionnement adaptées aux volumes et aux patterns de requêtes 

Qualité & observabilité 

• Mettre en place des tests de qualité, des alertes de fraîcheur et des métadonnées de suivi (row count, anomalies) 

• Superviser la santé des pipelines via Grafana (dashboards, alertes, SLOs) 

• Documenter le dictionnaire de données et maintenir le lineage 

Exposition & APIs 

• Développer des APIs FastAPI pour exposer les données gold aux consommateurs internes 

• Participer à la définition des contrats de données avec les équipes Product et métiers 

Data product 

• Concevoir des data products réutilisables (datasets versionnés, APIs documentées, semantic layer), en binôme avec les équipes Product & Analytics 

Notre environnement technique  

Orchestration : Dagster (assets, sensors, partitions, lineage)

Stockage & query : AWS S3 · Postrgres · ClickHouse · AWS Athena 

Langage : Python · SQL · Pandas 

Format données : Parquet · JSON · CSV 

Exposition : FastAPI 

Infrastructure : AWS (ECS, S3, Athena, SNS/SQS) 

CI/CD & versioning : GitLab CI · Docker · Terraform 

Monitoring : Grafana · Dagster UI 

Ce que nous offrons

• Une stack moderne toujours ouverte à de nouveaux outils 

• Un vrai ownership, de la conception au monitoring 

• Un environnement hybride et flexible  

• Une équipe Data Platform soudée et bienveillante