QA Lead transverse - IA générative - Freelance

Taux journalier (TJM): 400

Contexte de la mission

Dans le cadre du développement et de l’industrialisation de plusieurs produits digitaux intégrant des composants d’intelligence artificielle, un grand groupe recherche un QA Lead transverse.

Il aura pour responsabilité de définir, structurer et piloter la stratégie qualité sur trois dimensions complémentaires :

• la qualité fonctionnelle et technique des applications ;

• la fiabilité de la chaîne de delivery et des mises en production ;

• l’évaluation et la sécurisation des fonctionnalités reposant sur l’IA générative.

Il interviendra aux côtés des équipes Produit, Développement, Architecture, DevOps, Data/IA et Cybersécurité afin d’intégrer la qualité sur l’ensemble du cycle de vie des produits.

Localisation : Paris / Île-de-France
Démarrage : dès que possible

Missions principales

Qualité applicative

• Définir la stratégie de tests et les critères d’acceptation.

• Concevoir et exécuter les tests fonctionnels, techniques, API, d’intégration et de non-régression.

• Identifier les parcours critiques et automatiser leur validation.

• Suivre les anomalies jusqu’à leur résolution.

• Participer aux décisions de Go/No Go.

• Garantir la qualité des échanges entre les applications, API et services.

Qualité du delivery

• Intégrer les tests automatisés dans les pipelines CI/CD.

• Définir et mettre en place des quality gates.

• Fiabiliser les procédures de release, de déploiement et de rollback.

• Contrôler la couverture des tests avant chaque mise en production.

• Mettre en place des tests de performance, de charge et de résilience.

• Analyser les incidents de production et contribuer aux démarches d’amélioration continue.

• Accompagner les équipes dans l’adoption des pratiques shift-left.

• Construire des indicateurs de qualité partagés entre les différentes équipes.

Qualité des solutions IA

• Définir une stratégie d’évaluation des fonctionnalités IA et GenAI.

• Constituer des jeux de tests et des référentiels de réponses attendues.

• Mesurer la pertinence, la fidélité, la complétude et la stabilité des réponses.

• Identifier et mesurer les hallucinations.

• Tester les chaînes RAG : ingestion, recherche, contexte et génération.

• Garantir la non-régression lors des changements de modèles, de prompts ou de sources documentaires.

• Tester les risques liés aux prompt injections, jailbreaks et fuites de données.

• Automatiser les campagnes d’évaluation IA.

• Définir des métriques et des seuils d’acceptation pour les décisions de Go/No Go.

• Transformer les attentes parfois subjectives des métiers en critères mesurables.

Compétences recherchées

• Solide expérience en QA Engineering, automatisation et stratégie de tests.

• Expérience comme QA Lead, référent QA ou Senior QA Engineer transverse.

• Maîtrise des tests web, API, end-to-end, d’intégration et de non-régression.

• Playwright, Cypress, Selenium ou équivalent.

• Postman, REST Assured ou équivalent.

• CI/CD et qualité logicielle : Azure DevOps, GitLab CI, GitHub Actions, Jenkins ou SonarQube.

• Tests de performance : K6, JMeter ou Gatling.

• Bonne compréhension des architectures cloud, API et microservices.

• Connaissance de Python pour l’automatisation et l’évaluation IA.

• Compréhension des LLM, du prompt engineering et des architectures RAG.

• Expérience d’un outil d’évaluation IA comme Promptflow, RAGAS, DeepEval ou équivalent.

• Connaissance d’Azure OpenAI et d’Azure AI Foundry appréciée.

• Sensibilité aux enjeux de sécurité IA, de confidentialité, de RGPD et d’AI Act.

Profil recherché

Le profil recherché doit associer une véritable expertise en QA applicative et automatisation à une expérience concrète du test de solutions LLM ou RAG.

La simple utilisation de ChatGPT, Copilot ou d’un autre assistant IA pour générer des cas ou des scripts de test ne constitue pas une expérience suffisante. Le candidat doit avoir participé à l’évaluation de la qualité, de la fiabilité et de la sécurité des réponses produites par une solution d’IA générative.