Dév IA générative / LLMOps / AWS - Freelance

Contexte de la mission

Dans le cadre du développement et de l’industrialisation de ses services d’intelligence artificielle générative, un acteur majeur des services financiers renforce son équipe dédiée à l’IA.

Cette équipe conçoit et opère une plateforme IA interne basée sur AWS, destinée à différents utilisateurs :

• clients finaux via des applications digitales ;

• collaborateurs en relation avec les clients ;

• équipes internes et fonctions support ;

• applications RH et métiers.

La plateforme repose sur une architecture de microservices et intègre notamment des mécanismes de guardrails, d’observabilité, de monitoring, d’alerting, d’ingestion documentaire et d’évaluation des modèles.

Les cas d’usage couvrent principalement :

• les assistants conversationnels et chatbots ;

• les architectures RAG ;

• les assistants destinés aux conseillers ;

• les agents métiers ;

• les voicebots et les usages liés à la relation client ;

• l’automatisation de processus opérationnels.

Dans un environnement fortement réglementé et exposé aux utilisateurs finaux, une attention particulière est portée à la fiabilité des réponses, à la maîtrise des hallucinations, à la sécurité des données et à la conformité des traitements.

Objet de la mission

Le consultant intervient en qualité de développeur IA générative / LLMOps.

Il contribue à concevoir, industrialiser, maintenir et faire évoluer les capacités d’intelligence artificielle générative de la plateforme.

Son rôle couvre l’ensemble du cycle de vie des composants IA :

• conception ;

• développement ;

• évaluation ;

• mise en production ;

• supervision ;

• optimisation ;

• amélioration continue.

Il intervient sur les cas d’usage existants et participe à la création de nouveaux agents, assistants et services IA.

L’objectif est de garantir la performance, la sécurité, la qualité, l’observabilité, la conformité et la capacité de montée en charge des solutions développées.

Responsabilités principales

Développement et industrialisation

• Développer des applications IA en Python.

• Concevoir des API et des microservices basés sur des LLM.

• Développer des agents et systèmes multi-agents.

• Concevoir et industrialiser des chaînes RAG.

• Mettre en œuvre des mécanismes de recherche sémantique et de gestion des bases documentaires.

• Développer des composants réutilisables pour la plateforme IA.

• Intégrer les composants IA dans les environnements Cloud AWS.

• Contribuer à la mise en production et au maintien en conditions opérationnelles des services.

Orchestration et agents IA

• Utiliser des frameworks tels que LangChain, LangGraph, Semantic Kernel ou équivalent.

• Concevoir des agents sur Amazon Bedrock et AgentCore.

• Définir les interactions entre agents, outils, sources documentaires et services métiers.

• Mettre en œuvre des mécanismes de contrôle, de limitation et de supervision des agents.

• Garantir la robustesse et la traçabilité des chaînes d’exécution.

RAG et qualité des réponses

• Concevoir des architectures RAG fiables et évolutives.

• Structurer et maintenir les bases de connaissances.

• Optimiser les mécanismes d’indexation, de recherche et de récupération documentaire.

• Mettre en œuvre des stratégies avancées de prompt engineering.

• Définir des jeux de tests et des critères d’évaluation.

• Mesurer la pertinence, la précision, la cohérence et la qualité des réponses.

• Identifier et réduire les risques d’hallucination.

• Vérifier l’efficacité réelle des guardrails et des mécanismes de contrôle.

Évaluation, monitoring et exploitation

• Mettre en place des chaînes d’évaluation automatisées des modèles et des prompts.

• Définir les métriques de qualité, de performance et de coût.

• Développer les composants de monitoring et d’observabilité.

• Suivre les dérives de comportement et de performance des modèles.

• Diagnostiquer les incidents affectant les applications IA.

• Prioriser les anomalies et contribuer à leur résolution dans les délais opérationnels attendus.

• Participer à l’amélioration continue des capacités de la plateforme.

LLMOps, MLOps et CI/CD

• Intégrer les composants IA dans les pipelines CI/CD.

• Industrialiser la gestion des prompts, des modèles, des configurations et des jeux d’évaluation.

• Automatiser les tests fonctionnels, de non-régression et de performance.

• Mettre en place les mécanismes de versionnement et de traçabilité.

• Contribuer à la reproductibilité des déploiements.

• Participer à l’optimisation des coûts et de la consommation des ressources AWS.

• Accompagner la montée en charge des services IA.

IA responsable et conformité

• Sécuriser les usages de l’intelligence artificielle générative.

• Protéger les données sensibles et personnelles.

• Mettre en œuvre les guardrails et les contrôles de sécurité adaptés.

• Garantir la traçabilité et l’explicabilité des traitements.

• Contribuer à la conformité avec le RGPD, l’AI Act et les politiques internes.

• Participer à la définition des règles d’usage et des contrôles de qualité.

• Identifier les risques liés aux données, aux modèles, aux prompts et aux réponses générées.

Accompagnement métier et relation client

• Comprendre les processus métiers et les enjeux de la relation client.

• Identifier et qualifier de nouveaux cas d’usage.

• Accompagner les Product Owners et les équipes métiers dans l’adoption de l’IA générative.

• Animer des ateliers de cadrage, de conception et d’évaluation.

• Mesurer la valeur apportée par les solutions développées.

• Contribuer aux cas d’usage chatbot, voicebot et Amazon Connect.

• Maintenir un niveau de qualité compatible avec des usages exposés aux clients finaux.

Livrables attendus

• Chaînes RAG industrialisées.

• Agents, assistants et composants IA métiers.

• Microservices et API Python.

• Frameworks et bibliothèques de prompts.

• Pipelines d’évaluation et jeux de tests.

• Métriques de qualité, de performance et de coût.

• Composants de monitoring et d’observabilité.

• Mécanismes de guardrails et de contrôle des réponses.

• Documentation d’architecture et d’exploitation.

• Dossiers de sécurité et de conformité.

• Prototypes évalués et composants industrialisés intégrés à la plateforme.

• Documentation des procédures de mise en production et de résolution d’incidents.

• Rapports d’analyse et recommandations d’amélioration.

Qualités attendues

• Autonomie et sens des responsabilités.

• Forte culture de la production et de la qualité logicielle.

• Capacité à résoudre rapidement des problèmes complexes.

• Esprit critique et capacité à challenger les choix techniques.

• Sensibilité aux enjeux de sécurité, de conformité et de confidentialité.

• Pédagogie et capacité à travailler avec des équipes métiers et techniques.

• Goût du travail collectif et du partage de connaissances.

• Veille active sur les évolutions de l’IA générative et des plateformes LLM.

Modalités pratiques

• Localisation : sud de la région parisienne.

• Télétravail : possible selon les règles internes, avec une présence sur site de trois jours par semaine.

• Environnement : Cloud AWS, plateforme IA interne, architecture microservices.

• Contexte : équipe produit et plateforme, environnement réglementé, applications internes et services exposés aux clients.