Développeur Java Spark - Freelance

Taux journalier (TJM): 430

Contexte :

Dans le cadre de la gestion et de l’industrialisation d’une plateforme Big Data, le client recherche un Développeur Big Data expérimenté afin d’intervenir sur l’implémentation, la maintenance et l’optimisation de flux de données à grande échelle.
L’environnement traite plusieurs centaines de KPIs et une centaine de flux stream avec des volumes pouvant atteindre plusieurs téraoctets de données par jour.
Le consultant participera également aux travaux d’industrialisation des KPIs métiers, aux montées de version des frameworks et à l’amélioration continue des performances de la plateforme.

Missions principales :

• Développer et maintenir des flux de collecte, transformation et stockage de données dans un environnement Big Data.

• Mettre en place des flux stream et batch de récupération et traitement des données.

• Participer à l’industrialisation des KPIs métiers développés en Python.

• Réaliser l’analyse, le refactoring et l’optimisation des KPIs existants.

• Assurer le suivi et le monitoring du bon fonctionnement des flux de données.

• Participer aux montées de version des applications, frameworks et librairies techniques.

• Optimiser les performances des flux et traitements Big Data.

• Contribuer à la réduction de la dette technique du service.

• Participer aux mises en production et à la maintenance évolutive des traitements.