LLMOps & Observability Engineer - Freelance

Taux journalier (TJM): 500 - 600

Voici la fiche de poste mise à jour, en gardant l'anonymat de l'entreprise tout en valorisant son secteur d'activité (l'équipement sportif et l'outdoor), ce qui est un excellent argument d'attractivité pour les candidats.

Titre suggéré : Ingénieur(e) MLOps / LLMOps - Plateforme IA (TypeScript / AWS) - H/F

Le Contexte

Notre client, une marque internationale de référence dans le secteur de l'équipement sportif et de l'outdoor, met en place une nouvelle équipe d'experts dédiée à l'Intelligence Artificielle afin d'industrialiser les pratiques d'ingénierie IA au sein de sa DSI.

Cette entité est structurée autour de deux pôles : une équipe "Plateforme" chargée de bâtir l'infrastructure mutualisée, et une équipe "Enablement" chargée d'accompagner les équipes produit et développement dans l'intégration autonome de cas d'usage IA. L'ambition est d'atteindre une capacité IA mesurable et scalable sur l'ensemble du cycle de développement logiciel (SDLC) d'ici six mois.

Dans le cadre de cette création de pôle, vous rejoignez l'équipe Plateforme en tant que référent(e) de l'infrastructure d'observabilité et d'évaluation des charges de travail IA (tracing, pipelines d'évaluation, alertes qualité, gestion des données de test et versioning).

Vos missions

En tant que garant(e) de la fiabilité et de la mesurabilité des systèmes IA en production, vous aurez pour responsabilités :

• Infrastructure d'observabilité : Gérer le traçage distribué des appels LLM ainsi que les métriques de latence, de coût et de qualité. Vous serez chargé(e) d'auditer l'outil actuel (Langfuse) et de décider s'il faut le maintenir ou migrer vers une solution plus adaptée (ex: Langsmith).

• Pipelines d'évaluation : Concevoir et fournir les outils permettant aux équipes de définir, exécuter et versionner leurs suites de tests en continu.

• Gestion des données de test : Assurer la génération, la curation, le contrôle d'accès et le versioning des datasets d'évaluation.

• Versioning (Prompts & Modèles) : Concevoir et construire l'architecture de gestion des versions (from scratch) et définir les patterns du "Model Registry" pour accompagner la croissance des cas d'usage.

• Monitoring : Mettre en place des systèmes d'alertes proactifs pour détecter toute dégradation de la qualité en production.