Expert technique Kafka Streams / Lead Developer Data Streaming

Nous recherchons un Expert technique Kafka / Kafka Streams ou un Lead Developer Data Streaming pour intervenir dans le secteur de l’énergie sur une plateforme de traitement en temps réel de données issues d’équipements terrain, notamment des objets connectés, des automates et des systèmes de gestion technique du bâtiment.

La mission s’inscrit dans un environnement à forte volumétrie, caractérisé par une ingestion massive de flux et des enjeux importants de performance, de scalabilité, de résilience et de cohérence des données. La plateforme contribue au pilotage en temps réel de systèmes énergétiques.

Les principales responsabilités sont les suivantes :

• Concevoir et optimiser des architectures de streaming basées sur Kafka.

• Traiter les problématiques avancées liées aux architectures orientées événements et aux systèmes distribués.

• Développer et maintenir des pipelines de traitement en temps réel avec Java, Spring et Kafka Streams.

• Analyser et résoudre les problématiques de performance et de scalabilité.

• Gérer le partitionnement Kafka, le débit des traitements et l’optimisation de la latence.

• Assurer la tolérance aux pannes, la reprise sur incident et la cohérence des données.

• Superviser les pipelines critiques et garantir la fiabilité des traitements.

• Accompagner les équipes sur les sujets techniques et diffuser les bonnes pratiques.

• Contribuer à l’industrialisation des solutions à travers les chaînes CI/CD, le monitoring et l’observabilité.

L’environnement technique principal comprend Java, Spring Boot, Spring Data, Kafka, Kafka Streams, CI/CD, monitoring et observabilité.

Les technologies complémentaires appréciées sont InfluxDB, Spring Cloud, Kafka Connect, Oracle Database, PL/SQL, AWS Lambda, SQS, SNS, Ansible, Docker et Spark.

Profil recherché

Vous justifiez d’au moins cinq années d’expérience sur Kafka et Kafka Streams. Vous avez évolué comme Expert technique Kafka Streams ou Lead Developer spécialisé dans les plateformes de data streaming.

Vous disposez d’une expérience significative en environnement de production sur les sujets suivants :

• Partitionnement Kafka.

• Optimisation du débit et de la latence.

• Tolérance aux pannes.

• Reprise sur incident.

• Cohérence des données.

• Supervision de pipelines critiques.

• Performance et scalabilité de traitements à forte volumétrie.

Vous maîtrisez les architectures distribuées, les architectures orientées événements et les systèmes temps réel. Une expertise technique en Java, Spring Boot, Spring Data, Kafka et Kafka Streams est indispensable.

Une connaissance d’InfluxDB, Spring Cloud, Kafka Connect, Oracle Database, PL/SQL, AWS Lambda, SQS, SNS, Ansible, Docker ou Spark constitue un atout.

Vous êtes pragmatique, attentif à la qualité des réalisations et capable de partager votre expertise avec les équipes.