Data Ing Senior (H/F)

Contexte de la mission

Missions principales & Rôle

• Concevoir, développer et optimiser des pipelines data à grande échelle.

• Mettre en œuvre des flux batch, streaming et des ingestions via API.

• Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold).

• Développer et industrialiser les pipelines avec DBT, Spark et Iceberg.

• Contribuer à l’évolution de l’architecture Lakehouse.

• Orchestrer les workflows ETL/ELT avec Airflow et déployer les traitements sur AWS.

• Mettre en œuvre l’Infrastructure as Code avec Terraform et les environnements conteneurisés Docker/Kubernetes.

• Assurer la supervision, l’observabilité, la gestion des incidents et l’amélioration continue.

Objectifs & Livrables

• Garantir des pipelines data fiables, performants et industrialisés.

• Contribuer à la modernisation et à l’évolution de l’architecture Lakehouse.

• Mettre en place des contrôles automatisés de qualité et de validation des données.

• Garantir la disponibilité et l’observabilité des traitements.

• Documenter les architectures, pipelines et règles métier.

• Veiller à la conformité des flux, notamment vis-à-vis du RGPD.

Compétences requises

• Minimum 8 ans d’expérience en Data Engineering.

• Expertise indispensable : DBT, Iceberg, AWS, Python et Spark.

• Maîtrise avancée des architectures Big Data et Lakehouse.

• Très bonne maîtrise des services AWS : Glue, EMR, S3, etc.

• Bonne connaissance de Terraform et Datadog.

• Connaissance de Trino/Starburst appréciée.

• Maîtrise de la modélisation Médaillon et des problématiques de qualité des données.

• Expérience des environnements Airflow, Docker et Kubernetes.

Profil recherché

• Data Engineer Senior autonome et expérimenté sur des environnements data complexes.

• Forte capacité d’analyse et bonne compréhension des enjeux métiers.

• Rigueur, autonomie et sens de l’amélioration continue.

• Capacité à intervenir sur des sujets d’architecture comme sur l’industrialisation opérationnelle.

• Bonnes pratiques de documentation, qualité et conformité des données.