QA IA H/F

Détail du poste

Le besoin

Notre client est un grand cabinet d'audit et de conseil. Il développe et opère en interne une quinzaine de produits applicatifs en C# .NET / Vue.js sur Microsoft Azure, destinés à ses métiers Audit, Advisory et à ses fonctions support.

Vos missions

- Concevoir, développer et améliorer des agents IA de conception et de scripting de tests : génération de cas de test, de scénarios et de scripts automatisés
- Définir et mettre en oeuvre la stratégie de qualification des solutions IA (LLM, RAG, agents)
- Mettre en place des méthodes d'évaluation adaptées à l'IA générative :
- jeux de tests de référence
- métriques de qualité (pertinence, fidélité, hallucinations)
- non-régression des prompts et des modèles
- Sécuriser le passage du POC au produit : critères d'acceptation, robustesse, sécurité (injection de prompt, fuite de données), performance et maîtrise des coûts
- Intégrer les tests dans les chaînes CI/CD (Azure DevOps / GitHub)
- Accompagner les équipes produit sur les bonnes pratiques qualité appliquées à l'IA

Le profil recherché

Profil recherchéExpérience confirmée en QA / ingénierie de la qualité, niveau Senior / ExpertIndispensable : une solide expérience en automatisation des tests, avec conception et maintenance de frameworks automatisés en production (Playwright, Selenium, Cypress, SpecFlow ou équivalent) et intégration dans les chaînes CI/CDIndispensable : la maîtrise d'au moins un langage d'automatisation (C#, Python ou TypeScript), avec du code de test écrit au quotidienIndispensable : une expérience concrète et démontrable de développement assisté par IA et de mise en production d'applications à base de LLM (Azure OpenAI / AI Foundry ou équivalent)Indispensable : une réalisation IA à présenter en entretien, sous forme d'agent, d'application LLM en production, de dépôt de code ou de démonstrationPratique des briques IA générative : prompt engineering, RAG, frameworks d'agents (Semantic Kernel, LangChain, AutoGen ou équivalent)Seraient un plus :connaissance des outils d'évaluation LLM (Azure AI Foundry evaluation, Promptfoo, DeepEval, Ragas...)environnement Azure : Azure OpenAI, AI Search, Azure DevOps

Mais aussi...

Taux journalier :550.css-11k7fwb{display:inline-block;white-space:nowrap;vertical-align:middle;-webkit-padding-start:var(--chakra-space-1-5);padding-inline-start:var(--chakra-space-1-5);-webkit-padding-end:var(--chakra-space-1-5);padding-inline-end:var(--chakra-space-1-5);text-transform:none;font-size:var(--chakra-fontSizes-xs);border-radius:var(--chakra-radii-md);font-weight:var(--chakra-fontWeights-semibold);background:var(--chakra-colors-success-200);color:var(--chakra-colors-success-700);box-shadow:var(--badge-shadow);padding:4px 6px;--badge-bg:var(--chakra-colors-success-100);--badge-color:colors.success.800;}.chakra-ui-dark .css-11k7fwb:not([data-theme]),[data-theme=dark] .css-11k7fwb:not([data-theme]),.css-11k7fwb[data-theme=dark]{--badge-bg:rgba(226, 243, 232, 0.16);--badge-color:var(--chakra-colors-success-200);}Cette offre est à 0% de commission .css-74lrwu{width:1em;height:1em;line-height:1em;-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;color:currentColor;font-size:16px;display:-webkit-box;display:-webkit-flex;display:-ms-flexbox;display:flex;-webkit-transition:.1s ease-in-out color;transition:.1s ease-in-out color;}.css-74lrwu *{-webkit-transition:.1s ease-in-out fill;transition:.1s ease-in-out fill;fill:var(--chakra-colors-rythm-600);}