Ingénieur Data Senior Spark (H/F)
Salaire du marché
Basé sur 31 offres pour ce poste (Senior, Île-de-France, 3 dernières semaines). Fourchette habituelle 45k€–58k€, médiane 55k€. Cette offre (58k€) est dans la fourchette.
Description du poste
Vous rejoindrez un grand groupe du secteur audiovisuel et médias pour concevoir et développer le MVP d'une plateforme Data On-Premise innovante. Ce projet stratégique vise à moderniser l'infrastructure data existante en intégrant une stack Open Source performante (Kafka, NiFi, Spark, Iceberg, Trino) et à faciliter la transition vers le traitement temps réel tout en validant l'interopérabilité avec les services cloud publics.
Au sein de la Direction IT Transverse, vous piloterez l'architecture et la mise en œuvre d'une plateforme data scalable et robuste, intégrée au socle technique existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry). Vous travaillerez en collaboration étroite avec les équipes métiers et techniques du groupe pour transformer des flux ETL existants, démontrer la faisabilité de migration depuis les systèmes actuels, et établir les bonnes pratiques de la nouvelle plateforme.
Ce rôle combine architecture data, ingénierie de plateforme et mentorat technique dans un environnement moderne et exigeant, avec un fort impact sur la modernisation de l'écosystème data du groupe.
Responsabilités :
- Architecturer une plateforme Data On-Premise scalable, robuste et intégrée à l'infrastructure existante (Kubernetes, GitLab CI, Prometheus/OpenTelemetry)
- Sélectionner, configurer et déployer les composants Open Source clés : Apache Kafka (streaming), Apache NiFi (ingestion et orchestration), Apache Spark (traitement distribué), Apache Iceberg (gestion de tables analytiques) et Trino (requêtage SQL distribué)
- Implémenter des cas d'usage concrets en transformant des flux ETL existants et en mettant en place des pipelines de données en streaming (Kafka + Spark Structured Streaming)
- Alimenter et optimiser un datalake On-Premise basé sur Iceberg, avec requêtage via Trino
- Valider l'interopérabilité et les patterns d'intégration avec les services Big Data en environnement cloud public (GCP)
- Collaborer avec l'équipe Data et IA pour aligner les besoins métiers et techniques, et avec les équipes DevOps/Infrastructure pour l'intégration du socle
- Documenter les choix architecturaux, les décisions techniques et établir les bonnes pratiques de la plateforme
- Former et accompagner les équipes internes sur les nouveaux outils, processus et méthodologies
Télétravail : 2/3 jours par semaine
Localisation : Paris / Rennes
Plan d'action
Un plan personnalisé pour postuler intelligemment à cette offre.
À propos de l'entreprise
Signe + en quelques mots : Spécialiste en intermédiation sur le marché IT, SAP, Data BI, Cyber nous intervenons en France comme à l’étranger en sous-traitance, recrutement et également en portage salarial, portage commercial ou portage de formation Qualiopi. Signe + crée de manière équilibrée de la valeur pour toutes les parties prenantes en s’appuyant sur une connaissance dynamique du marché avec une plateforme évolutive de plus de 150 000 profils. Depuis 2005, nous accompagnons nos clients avec nos valeurs : ✔ Expertise et professionalisme ✔ Agilité et Innovation ✔ Transparence et éthique ✔ Proximité et accessibilité
Voir toutes les offres de Signe +Publié par
Intéressé par cette offre ?
Cliquez sur "Postuler" pour accéder à l'offre.