Data Engineer Senior - Iceberg - Freelance

Contexte

Dans le cadre du renforcement de son pôle Data Services, un grand acteur du secteur ferroviaire recherche un Data Engineer Senior pour accompagner la conception, l’industrialisation et l’évolution de ses solutions Data.

Le consultant interviendra sur des sujets à forts enjeux autour de la Data Engineering, des architectures Lakehouse, de la modélisation et de l’optimisation des pipelines, avec une forte dimension industrialisation et Cloud.

Missions

• Concevoir, développer et optimiser des pipelines Data à grande échelle.

• Mettre en place des flux batch, streaming et ingestion via API.

• Structurer les données selon le modèle Médaillon : Bronze / Silver / Gold.

• Développer et industrialiser les pipelines avec DBT, Spark et Iceberg.

• Participer à la conception et à l’évolution de l’architecture Lakehouse.

• Déployer et maintenir les pipelines dans un environnement AWS.

• Orchestrer les workflows ETL/ELT avec Airflow.

• Mettre en œuvre l'Infrastructure as Code avec Terraform.

• Exécuter et maintenir les traitements dans des environnements Docker / Kubernetes.

• Garantir la disponibilité, la supervision et l'observabilité des traitements.

• Participer à la gestion des incidents et à l'amélioration continue.

• Définir et automatiser les règles de Data Quality : tests, contrôles et validations.

• Documenter les architectures, pipelines et règles métier.

• Veiller à la conformité des flux, notamment sur les aspects RGPD.