LLMOps / DevOps Engineer (H/F)

Contexte :

Les missions attendues par le LLMOps / DevOps Engineer (H/F) :

Contexte de la mission

3 jours de télétravail / 2 jours de présentiel à Lyon

Dans le cadre de l’industrialisation de ses solutions d’Intelligence Artificielle (chatbots RAG, automatisation et traitement de mails, services LLM), notre client recherche un Ingénieur DevOps IA capable de déployer, exploiter et optimiser des plateformes IA à l’échelle sur AWS.

Le poste comporte une forte dimension d’optimisation des coûts d’inférence et d’infrastructure, avec un rôle clé dans la mise en œuvre des bonnes pratiques FinOps appliquées aux usages IA.

Vos missions

Industrialisation et exploitation des plateformes IA

• Déployer, maintenir et faire évoluer les workloads IA sur AWS et Kubernetes (EKS).

• Automatiser les déploiements via les pipelines CI/CD et les outils d’Infrastructure as Code.

• Garantir la disponibilité, la performance et la scalabilité des services IA en production.

Gestion des services IA

• Administrer et intégrer les services managés AWS dédiés à l’IA (Amazon Bedrock, endpoints d’inférence, bases vectorielles, services associés).

• Accompagner les équipes de développement dans l’intégration des modèles LLM et des architectures RAG.

Observabilité et performance

• Mettre en place les indicateurs de suivi des usages IA : latence, taux d’erreur, consommation de tokens, qualité de service.

• Construire les dashboards et alertes nécessaires au pilotage opérationnel des plateformes.

FinOps et maîtrise des coûts

• Suivre et analyser les coûts liés aux modèles, à l’inférence et aux infrastructures.

• Définir des mécanismes d’alerting budgétaire et de reporting.

• Proposer des optimisations techniques et économiques : choix des modèles, stratégies de cache, dimensionnement des infrastructures, arbitrages coût/performance.

Sécurité et gouvernance

• Garantir la sécurisation des plateformes et des accès (IAM, gestion des secrets, réseau privé, gouvernance des modèles).

• Veiller au respect des bonnes pratiques de sécurité et de conformité.