Data Engineer Java H/F

Détail du poste

Rejoignez une grande plateforme data au sein d'un acteur majeur du secteur de la grande distribution. Vous contribuerez à la conception et au développement de services digitaux centralisés, permettant aux équipes métier d'accéder à des données fiables, accessibles et exploitables via API, tout en accélérant les traitements analytiques et renforçant l'alignement entre les besoins opérationnels et décisionnels.

Vous interviendrrez dans un environnement technique moderne, basé sur le cloud et l'écosystème big data, au sein d'une équipe agile et collaborative. Vos missions porteront notamment sur des projets à forte valeur ajoutée liés à la gestion de référentiels critiques (articles, points de vente) et à l'optimisation des pipelines de données.

Responsabilités :
- Concevoir et développer des services de traitement de données robustes et scalables en Java et/ou Scala, en appliquant les principes de programmation fonctionnelle
- Architcter et maintenir des pipelines de données complexes utilisant Apache Spark et Apache Kafka, en garantissant performance et fiabilité sur de grands volumes
- Piloter l'ingestion et le traitement de flux de données en temps réel via Pub/Sub, en assurant la cohérence et la qualité des données
- Optimiser les requêtes et les modèles de données dans BigQuery, en maîtrisant le SQL avancé pour extraire des insights sur des volumes massifs
- Orchestrer et automatiser les workflows de données avec DBT (Data Build Tool), en structurant les transformations et les dépendances
- Mettre en place et maintenir les chaînes CI/CD via GitLab CI/CD et Docker Compose, en garantissant des déploiements fiables et reproductibles
- Contribuer à l'évolution de l'infrastructure cloud sur Google Cloud Platform (GCP), en suivant les bonnes pratiques de sécurité et d'optimisation
- Collaborer activement avec les équipes métier, data science et infrastructure dans un contexte Agile/Scrum, en partageant les connaissances et en proposant des améliorations continues
- Documenter et maintenir les standards de qualité et de performance des solutions développées

Télétravail : 2 jours par semaine
Localisation : Lyon

Profil :
Indispensables :
- Solide expérience en développement Java et/ou Scala (minimum 3 à 7 ans), avec une compréhension approfondie de la programmation fonctionnelle et des paradigmes réactifs
- Maîtrise confirmée d'Apache Spark pour le traitement distribué de données et optimisation des performances sur de gros volumes
- Expertise en Apache Kafka pour la gestion des flux de données asynchrones et la construction d'architectures événementielles
- Expérience significative avec Google Cloud Platform (GCP) et maîtrise de BigQuery, incluant le SQL avancé et les optimisations de requêtes
- Compétences solides en DBT (Data Build Tool) pour l'orchestration et la gestion des pipelines de transformation de données
- Expérience pratique avec Pub/Sub pour l'ingestion et le traitement de flux en temps réel
- Maîtrise des outils CI/CD, notamment GitLab CI/CD, et familiarité avec Docker et Docker Compose pour la conteneurisation
- Bonne connaissance de l'environnement Linux et des outils ligne de commande (bash, scripting)
- Expérience confirmée avec Git pour la gestion de version et les workflows collaboratifs
- Capacité à travailler en méthodologie Agile/Scrum et à s'adapter à des cycles itératifs
- Formation Bac +5 en informatique ou expérience professionnelle équivalente

Fortement appréciés :
- Expérience antérieure dans le secteur du retail, de la grande distribution ou de l'e-commerce
- Excellente maîtrise de la communication écrite et orale en français
- Capacité d'analyse fine et talent pour proposer des solutions architecturales adaptées aux contraintes métier et techniques
- Rigueur dans le respect des délais et des standards de qualité du code
- Esprit collaboratif affirmé, avec aptitude au partage de connaissances et au mentorat
- Démarche proactive d'amélioration continue et de veille technologique