Expert Spark Data Engineer H/F - Freelance
Salaire du marché
Basé sur 89 offres pour ce poste (tous niveaux, France, 3 dernières semaines). Fourchette habituelle 450€/j–560€/j, médiane 500€/j. Cette offre (550€/j) est dans la fourchette.
Description du poste
Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients.
Contexte :
La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence.
Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants :
350 bases de données
5 000 requêtes par seconde
1 To de données par an
L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante.
Votre mission :
Au sein d'une équipe projet, vous serez en charge de :
- Réaliser un audit et un état des lieux technique de l’existant
- Identifier les axes d’amélioration des traitements Spark (batch et streaming)
- Optimiser les performances pour les flux temps réel
- Définir les recommandations de dimensionnement de l’infrastructure
- Proposer des améliorations sur MongoDB (modélisation et structuration des données)
- Rédiger un document d’architecture cible et de préconisations
Exigences du poste
Stack technique :
Publié par
Intéressé par cette offre ?
Cliquez sur "Postuler" pour accéder à l'offre.