Data Platform Engineer Spark/Starburst/Airflow/Kubernetes (STARBURST OBLIGATOIRE)

Contexte de la consultation

Dans le cadre de l’exploitation, de la sécurisation et de l’amélioration continue de sa plateforme Data, l’entreprise souhaite s’appuyer sur une expertise externe spécialisée autour des technologies Apache Spark, Apache Airflow et Starburst/Trino, déployées et opérées sur une infrastructure Kubernetes. Cette plateforme constitue un socle critique pour l’exécution de traitements de données, l’orchestration de chaînes applicatives, l’exposition de services analytiques et l’interrogation distribuée de données par les équipes métiers, projets et Data.

Les enjeux principaux sont les suivants :

• garantir la stabilité et la disponibilité de la plateforme ;

• améliorer la qualité du support production ;

• réduire les incidents récurrents ;

• optimiser l’usage des ressources Kubernetes ;

• accompagner les équipes métiers et techniques dans leurs usages ;

• renforcer les bonnes pratiques d’exploitation, de tuning et d’industrialisation ;

• améliorer la performance des traitements Spark, des DAG Airflow et des requêtes Starburst/Trino.

La prestation attendue s’inscrit dans un contexte de production, avec des exigences fortes en matière de disponibilité, de maîtrise des incidents, de sécurité, de traçabilité et de performance.

__________

2. expertise technique et opérationnelle

plateforme Data reposant notamment sur :

• Kubernetes pour l’orchestration des composants ;

• Apache Spark pour le traitement distribué de données ;

• Apache Airflow pour l’orchestration des workflows ;

• Starburst / Trino pour l’interrogation distribuée des données ;

• les outils associés de supervision, logs, alerting, sécurité et déploiement.

Le consultant interviendra en appui des équipes de production, d’infrastructure, de Data Engineering, d’architecture et des métiers afin d’assurer le maintien en conditions opérationnelles, l’analyse des incidents, l’optimisation des traitements et l’amélioration continue de la plateforme.

__________

3. Objectifs de la prestation

La mission devra permettre d’atteindre les objectifs suivants :

• assurer un support de niveau expert sur les incidents liés à Spark, Airflow, Starburst/Trino et Kubernetes ;

• améliorer la stabilité opérationnelle des workloads Data ;

• diagnostiquer et corriger les problèmes de performance, de consommation de ressources ou de fiabilité ;

• accompagner les équipes projets dans la mise en production de nouveaux traitements ;

• assister les métiers dans l’usage optimisé de la plateforme ;

• définir et formaliser des bonnes pratiques techniques ;

• optimiser le dimensionnement et l’allocation des ressources Kubernetes ;

• contribuer à la réduction des coûts d’exploitation liés à une mauvaise consommation CPU, mémoire, stockage ou I/O ;

• renforcer l’observabilité, le monitoring et les procédures d’exploitation ;