Consultant LLMOps / Model Serving - Freelance

Taux journalier (TJM): ~600

Contexte

Dans le cadre du développement d’un socle agentique destiné à industrialiser l’usage de modèles d’IA en production, une équipe recherche un consultant expérimenté en LLMOps / MLOps et Model Serving.

La mission consiste à mettre en place et faire évoluer les mécanismes permettant d’exposer les modèles aux agents IA dans un environnement de production maîtrisé, avec de fortes exigences en matière de performance, observabilité, sécurité, traçabilité et optimisation des coûts.

Le consultant intégrera une équipe dédiée au socle agentique, en interaction étroite avec les équipes de développement d’agents, les profils Data/IA, les équipes SRE et les équipes d’exploitation.

Missions

• Mise en place et évolution des services d’exposition et d’inférence des modèles.
• Conception des interfaces permettant aux agents IA d’accéder aux modèles.
• Gestion du versioning, du routage, des endpoints et des paramètres de génération.
• Définition et optimisation des quotas, timeouts et stratégies de fallback entre différents modèles.
• Contribution aux choix d’hébergement et de dimensionnement : GPU, Kubernetes, services managés ou déploiement interne.
• Mesure et optimisation de la latence, du débit, des taux d’erreur, de la consommation GPU et des coûts d’utilisation.
• Mise en place de mécanismes d’observabilité, de monitoring, de dashboards et d’alerting dédiés aux services modèles.
• Optimisation des paramètres d’inférence, de la mise en cache et, lorsque pertinent, des stratégies de batch.
• Mise en place des traces nécessaires au suivi de la qualité et aux arbitrages économiques.
• Traçabilité des versions de modèles utilisées par les agents.
• Contribution aux mécanismes de validation avant exposition d’un modèle à un cas d’usage.
• Définition et documentation des standards et procédures LLMOps, notamment en matière de changement, validation et rollback.
• Contribution à l’industrialisation et à l’automatisation des pratiques d’exploitation.
• Collaboration avec les équipes Data/IA, SRE, développement d’agents, architecture, sécurité et opérations.
• Participation aux instances de suivi et de pilotage ainsi qu’à la mise à jour des indicateurs d’avancement.
• Participation ponctuelle à des bascules de versions ou à des tests de charge nécessitant une disponibilité en horaires adaptés.

Livrables attendus

• Service d’exposition des modèles aux agents, versionné et documenté.
• Dashboards de suivi de la latence, des erreurs, de la consommation GPU et des coûts.
• Système d’alerting associé aux services modèles.
• Procédures de validation, changement et rollback.
• Documentation des standards et pratiques LLMOps à destination des équipes d’exploitation.
• Traces permettant les analyses de qualité et les arbitrages économiques.
• Mécanismes de traçabilité des versions de modèles utilisées par les agents.
• Tableaux de suivi et indicateurs de pilotage.
• Documentation technique et transfert de connaissances auprès des équipes.

Environnement technique

• LLMOps / MLOps
• Model Serving
• APIs d’inférence
• Kubernetes
• GPU
• Python et écosystème IA
• Registry et versioning de modèles
• Gouvernance des modèles
• Observabilité, monitoring et alerting
• Dashboards
• Déploiement applicatif
• Dimensionnement et optimisation des ressources
• Gestion des quotas et des coûts
• Sécurité des services IA
• Automatisation et pratiques d’exploitation
• Environnements de production critiques

Informations générales

• Expérience requise : Plus de 7 ans
• Démarrage : ASAP
• Interventions ponctuelles : possibilité d’horaires adaptés lors des bascules de versions ou des tests de charge