Data Engineer Senior H/F

Le besoin

Contexte de la Mission

Dans le cadre de la modernisation et de l'évolution de ses infrastructures de données, un acteur majeur du secteur de la mobilité et des services numériques renforce son pôle Data Services.

L'objectif principal de la mission est d'accompagner l'équipe dans la conception, l'industrialisation et l'évolution des solutions Data, tout en contribuant activement à la mise en oeuvre et au passage à l'échelle de l'architecture Lakehouse de l'entreprise.

Description des Tâches & Responsabilités

Architecture, Modélisation & Développement

• Concevoir, développer et optimiser des pipelines de données à grande échelle (batch, streaming et ingestion via API).

• Structurer les transformations selon le modèle de modélisation Médaillon (Bronze / Silver / Gold).

• Industrialiser les flux via Spark, dbt et Apache Iceberg.

• Contribuer activement à la stratégie et à l'évolution de l'architecture Lakehouse.

Déploiement, DevOps & Infrastructure

• Déployer et maintenir les pipelines au sein d'un environnement Cloud AWS.

• Orchestrer les workflows ETL/ELT avec Apache Airflow.

• Gérer l'Infrastructure as Code (IaC) à l'aide de Terraform.

• Exécuter et gérer les traitements dans des environnements conteneurisés (Docker, Kubernetes).

Observabilité, Qualité & Gouvernance

• Garantir la haute disponibilité, la supervision et l'observabilité des traitements (via Datadog notamment).

• Assurer la gestion des incidents et participer aux démarches d'amélioration continue.

• Mettre en oeuvre les règles de qualité de données (tests automatisés, validations et contrôles de cohérence).

• Rédiger la documentation technique et fonctionnelle (architectures, pipelines, règles métier).

• Garantir la conformité et la sécurité des flux, dans le respect des normes RGPD.