TEST – Consultant Expert Test IA – Senior

Dans le cadre d’un programme de transformation visant à intégrer l’intelligence artificielle dans les processus de développement logiciel et dans les parcours métier, nous recherchons un consultant senior expert en stratégie de test et en qualification de solutions d’intelligence artificielle, avec une expertise particulière des architectures agentiques.

Le consultant interviendra sur deux principaux enjeux :

• Qualité du cycle de développement logiciel (SDLC) : intégrer les activités de test, les contrôles qualité et les critères de validation à chaque étape du cycle de delivery, de l’expression du besoin jusqu’au déploiement.

• Qualification des solutions IA : définir et mettre en œuvre une stratégie de test permettant d'évaluer la fiabilité, la robustesse et la conformité des agents IA et des composants intégrés dans les parcours métier.

La mission vise à structurer une démarche qualité industrialisable, garantissant la maîtrise des risques liés à l'utilisation de l'intelligence artificielle.

Le consultant interviendra en tant qu'expert Test / QA senior et sera responsable des activités suivantes :

Cadrage de la qualité et stratégie de test

• Définir la stratégie globale de test adaptée aux solutions intégrant de l'IA.

• Identifier les exigences qualité et les critères d'acceptation.

• Définir les scénarios de test, les indicateurs de performance et les critères Go / No Go.

• Structurer les dispositifs de contrôle qualité tout au long du cycle de développement.

Conception et exécution des tests IA

• Concevoir et exécuter des tests sur les agents IA, les reviewers et les orchestrations multi-agents.

• Évaluer la conformité des réponses, la robustesse et les risques d'hallucination.

• Tester les comportements hors périmètre et les situations dégradées.

• Mettre en place des scénarios de tests reproductibles et mesurables.

Intégration au SDLC et quality gates

• Intégrer les contrôles qualité dans les pipelines CI/CD.

• Définir les quality gates aux différentes étapes du delivery.

• Automatiser les tests et les contrôles de non-régression.

• Assurer la traçabilité des résultats et des preuves de qualité.

Accompagnement des équipes

• Accompagner les équipes de développement et les équipes produit dans l'appropriation des pratiques de test IA.

• Clarifier les rôles et responsabilités autour de la qualité.

• Diffuser les bonnes pratiques de test et d'industrialisation.

• Être force de proposition sur les dispositifs d'amélioration continue.

Profil recherché

• Consultant Test / QA Senior.

• Expérience confirmée en stratégie de test sur un SDLC mature.

• Expérience en mise en production de solutions logicielles et CI/CD.

• Expérience concrète en tests et évaluation de LLM, agents IA et architectures agentiques.

• Capacité à transformer les besoins métier en scénarios et critères de test mesurables.

• Test / QA : stratégie de test, tests fonctionnels, automatisation, non-régression.

• IA / LLM : évaluation IA, hallucinations, robustesse, agents et multi-agents.

• Automatisation : Python, Pytest, Playwright, REST Assured.

• Delivery : GitHub Enterprise, GitHub Actions, CI/CD, Quality Gates.

• Évaluation IA : Promptfoo, DeepEval, Ragas, LangSmith.

• Sécurité IA : Prompt injection, exfiltration de données, garde-fous.

• Observabilité : logs, traces, coûts, latences et suivi des erreurs.