Taux journalier (TJM): 500

Data Engineer Senior

Description du poste

Le prestataire devra :

• Concevoir, développer et optimiser des pipelines de données à grande échelle
• Mettre en œuvre des flux batch, streaming et ingestion via API
• Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold)
• Développer et industrialiser les pipelines via DBT Spark et Iceberg
• Contribuer à l'évolution de l'architecture Lakehouse

Livrables

• Déployer et maintenir les pipelines dans un environnement cloud (AWS ou équivalent)
• Orchestrer les workflows ETL / ELT via Airflow
• Mettre en œuvre l'Infrastructure as Code (Terraform)
• Exécuter les traitements dans des environnements conteneurisés (Docker, Kubernetes)
• Garantir la disponibilité, la supervision et l'observabilité des traitements
• Participer à la gestion des incidents et à l'amélioration continue
• Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés)
• Documenter les architectures, pipelines et règles métier
• Garantir la conformité des flux, notamment dans le cadre RGPD

Compétences requises

• 8 années minimum d'expérience en Data Engineering
• Une maîtrise avancée des architectures Big Data et Lakehouse
• Expertise sur Spark, DBT, Iceberg, AWS et Terraform
• Maîtrise des services AWS (Glue, EMR, S3, ...)
• Connaissance de Trino / Starburst
• Une forte capacité d'analyse et de compréhension des enjeux métiers
• Une aptitude démontrée à accompagner et encadrer des profils juniors
• Rigueur, autonomie et culture de l'amélioration continue

Compétences clés obligatoires

• Développement Spark
• AWS
• Outils de modélisation data
• Python
• Big Data