PO IA - CDI

Dans le cadre de la construction de la Stack Agentique Groupe, souhaite mettre en place une offre d’évaluation continue et d’homologation des applications d’IA générative.

La mission consiste à porter le produit d’évaluation sur ses dimensions fonctionnelles, méthodologiques et économiques. Le prestataire interviendra notamment pour :

- contribuer à la finalisation du choix des composants d’évaluation, en confrontant les besoins utilisateurs aux contraintes techniques, de sécurité, d’exploitation et de coût ;

- définir la vision du produit, sa roadmap, son backlog, ses cas d’usage et ses critères d’acceptation, en coordination étroite avec les équipes IT ;

- cadrer les mécanismes d’évaluation automatisée des solutions GenAI, incluant les Golden Datasets, les métriques techniques et métier, les tests de non-régression et les approches LLM-as-a-Judge ;

définir les restitutions nécessaires aux différents utilisateurs : vues détaillées pour l’ingénierie et la Data Science, et tableaux de bord synthétiques pour les métiers, les risques et les instances de validation ;

- structurer l’offre de service associée à la plateforme : services proposés, modalités d’accès et d’accompagnement, niveaux de service, responsabilités et modèle de pricing ;

- coordonner les parties prenantes métiers, Data Science, IT, architecture, sécurité et conformité.

L’objectif est de disposer d’une offre d’évaluation industrialisable, traçable et exploitable comme Quality Gate avant la mise en production des produits IA.