Data Engineer Sénior - Freelance

Taux journalier (TJM): 600

Le prestataire interviendra sur les sujets d’architecture, de modélisation,

d’optimisation des pipelines et contribuera activement à la stratégie Lakehouse de

l’entreprise.

Description

Data Engineer/Architecte Senior

Le prestataire devra :

Concevoir, développer et optimiser des pipelines de données à grande échelle

Mettre en œuvre des flux batch, streaming et ingestion via API

Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold)

Développer et industrialiser les pipelines via DBT Spark et Iceberg

Contribuer à l’évolution de l’architecture Lakehouse

Livrables

Déployer et maintenir les pipelines dans un environnement cloud (AWS ou

équivalent)

Orchestrer les workflows ETL/ELT via Airflow

Mettre en œuvre l’Infrastructure as Code (Terraform)

Exécuter les traitements dans des environnements conteneurisés (Docker,

Kubernetes)

Garantir la disponibilité, la supervision et l’observabilité des traitements

Participer à la gestion des incidents et à l’amélioration continue

Définir et mettre en œuvre les règles de qualité des données (tests, validation,

contrôles automatisés)

Documenter les architectures, pipelines et règles métier

Restreint Néosoft et

Tiers

Garantir la conformité des flux, notamment dans le cadre RGPD

Compétences

8 années minimum d’expérience en Data Engineering

Développement SPARK

Une maîtrise avancée des architectures Big Data et Lakehouse

Expertise sur Spark, DBT, Iceberg, AWS et Terraform.

Maitrise des services AWS (Glue, EMR, S3, ...)

Connaissance de Trino/Starburst

Une forte capacité d’analyse et de compréhension des enjeux métiers

Une aptitude démontrée à accompagner des profils juniors

Rigueur, autonomie et culture de l’amélioration continue

Compétences clés

Obligatoire

AWS Big Data Python