Data Engineer - Migration NiFi (H/F)

Un grand groupe du secteur de la distribution vous fait confiance pour piloter un projet stratégique majeur : la migration de plus de 450 flux de données Apache NiFi vers une infrastructure Kubernetes en mode CaaS (Cloud as a Service). Vous intégrerez une équipe pluridisciplinaire en environnement Agile, en étroite collaboration avec les Tech Leads et les équipes DevOps, pour garantir la continuité de service et l'optimisation des coûts d'infrastructure.

Vous participerez à un projet d'envergure combinant ingénierie des données, architecture cloud et transformation digitale. Le contexte : moderniser une plateforme existante complexe tout en préservant la fiabilité des flux critiques. Vous travaillerez selon une méthodologie de sprint agile, avec des jalons clairs et une validation continue.

Responsabilités :
- Réaliser le rétro-engineering détaillé des flux NiFi existants pour valider leur pertinence et leur capacité à migrer, en documentant les dépendances, les transformations métier et les points critiques
- Adapter les configurations NiFi en fonction des contraintes du nouvel environnement Kubernetes et des standards d'exploitation définis
- Coordonner avec les équipes DevOps et FinOps pour valider l'usage optimal du socle cloud, optimiser les ressources et maitriser les coûts (CPU, mémoire, stockage)
- Préparer la stratégie de migration par allotissement : préparation de l'infrastructure, séquençage des flux, création de playbooks opérationnels
- Effectuer les validations pré-migration (tests unitaires, performance, continuité) et post-migration (conformité, traçabilité, non-régression)
- Assurer le suivi des standards de qualité, sécurité et traçabilité des données tout au long du projet, en collaboration avec le Tech Lead
- Documenter les solutions techniques, les procédures et les apprentissages pour favoriser le transfert de compétences