Expert Spark Data Engineer H/F - Freelance

Taux journalier (TJM): 500€ -600€

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients.

 

Contexte :

La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence.

Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants :

• 350 bases de données

• 5 000 requêtes par seconde

• 1 To de données par an

L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante.

 

Votre mission :

Au sein d'une équipe projet, vous serez en charge de :

 

- Réaliser un audit et un état des lieux technique de l’existant

- Identifier les axes d’amélioration des traitements Spark (batch et streaming)

- Optimiser les performances pour les flux temps réel

- Définir les recommandations de dimensionnement de l’infrastructure

- Proposer des améliorations sur MongoDB (modélisation et structuration des données)

- Rédiger un document d’architecture cible et de préconisations