Data Engineer Big Data Senior H/F

Le besoin

Bonjour,

Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Big Data

Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer Senior pour intervenir sur la conception, l'industrialisation et l'évolution de solutions Data à grande échelle.

La mission s'inscrit dans un environnement Big Data / Cloud / Lakehouse, avec des enjeux forts autour de la performance, de la qualité des données, de l'industrialisation et de l'observabilité des traitements.

Missions

• Concevoir, développer et optimiser des pipelines de données à grande échelle.

• Mettre en oeuvre des flux Batch, Streaming et des ingestions via API.

• Structurer les transformations selon une architecture Médaillon Bronze / Silver / Gold.

• Développer et industrialiser les traitements avec Spark et dbt.

• Exploiter des formats de tables modernes, notamment Apache Iceberg.

• Participer à la conception et à l'évolution de l'architecture Lakehouse.

• Déployer et maintenir les pipelines dans un environnement AWS.

• Utiliser les services AWS dédiés à la Data, notamment S3, Glue et EMR.

• Orchestrer les workflows ETL / ELT avec Airflow.

• Mettre en oeuvre l'Infrastructure as Code avec Terraform.

• Déployer et exécuter les traitements dans des environnements conteneurisés Docker / Kubernetes.

• Assurer la disponibilité, la supervision et l'observabilité des pipelines.

• Participer à la gestion des incidents et à l'amélioration continue de la plateforme.

• Définir et automatiser les règles de Data Quality : tests, contrôles et validations.

• Documenter les architectures, pipelines, transformations et règles métier.

• Veiller à la conformité et à la sécurisation des flux de données, notamment au regard des exigences RGPD.

Environnement technique

• Python

• Spark

• dbt

• Apache Iceberg

• AWS

• AWS S3 / Glue / EMR

• Airflow

• Terraform

• Docker

• Kubernetes

• Trino / Starburst

• Datadog

• Big Data

• Lakehouse

• Data Modeling

• Data Quality

• Data Catalog