Ingénieur MLOps / LLMOps, Azure AI & Copilot Studio

Pour notre client, nous rechechons en ce moment un Ingénieur MLOps / LLMOps, Azure AI & Copilot Studio.

Objectifs de la mission

• Instrumenter et établir une base de référence de l'agent existant : qualité de la récupération, troncature du contexte, limitations de débit (throttling), latence et ancrage des réponses dans les sources, mesurés sur des cas métier réels

• Distinguer les limites intrinsèques de la plateforme des problèmes de paramétrage et de prompt, et restituer cette distinction de façon claire à un public non technique

• Recommander et faire valider une architecture cible : optimisation au sein de Copilot Studio, ou bascule vers Azure AI Foundry / Azure OpenAI avec une couche de récupération dédiée

• Construire la chaîne de traitement et de récupération en production : ingestion, découpage des documents, embeddings, indexation, recherche hybride et reranking

• Mettre en place un dispositif d'évaluation avec jeux de données de référence et tests de non-régression, afin que chaque évolution soit mesurée et non supposée

• Implémenter la CI/CD, la séparation des environnements, le versioning des prompts et des configurations, ainsi que les procédures de retour arrière

• Déployer le monitoring et l'observabilité : coût et consommation de tokens par requête, modes de défaillance, dérive, boucle de retour utilisateurs

• Garantir la conformité en matière de localisation des données, de gestion des accès, de traitement des données personnelles et de piste d'audit, en cohérence avec les politiques groupe et la gouvernance des modèles

• Documenter la solution et assurer le transfert de compétences vers les équipes internes