Consultant Senior LLM SecOps / GenAI - Freelance

Contexte

Notre client est une organisation engagée dans une transformation « agentique » visant à industrialiser des cas d’usage GenAI/LLM au service des métiers. Les travaux sont pilotés au sein d’une équipe IT, avec un enjeu fortement business : accélérer l’expérimentation (POC) tout en garantissant un passage en production maîtrisé, sécurisé et conforme. Dans ce contexte, notre client recherche un profil senior capable de cadrer et sécuriser l’industrialisation de LLM en environnement Google Cloud Platform.

La mission s’inscrit dans une dynamique d’adoption rapide des LLM et d’agents (workflows/outils) avec un double impératif :

1. Délivrer rapidement des prototypes et preuves de valeur
2. Mettre en place un socle SecOps/MLOps pragmatique pour opérer ces solutions en production.

L’objectif est de définir et déployer les bonnes pratiques de sécurité et d’exploitation des solutions LLM (modèles, prompts, données, intégrations, monitoring), d’outiller les équipes pour réduire les risques (fuite de données, prompt injection, supply chain, dérives de comportement, non-conformité), et d’accompagner le cadrage des cas d’usage agentiques afin de prioriser ceux à plus forte valeur et maîtriser les risques dès la conception.

Missions

• Cadrage de la démarche LLM SecOps/GenAI Ops : principes, standards, responsabilités (RACI), processus de mise en production et d’exploitation
• Analyse de risques et threat modeling spécifiques GenAI (prompt injection, data exfiltration, jailbreak, outils/agents, connecteurs, dépendances, supply chain, multi-tenant) et définition des mesures de mitigation
• Définition des exigences de sécurité et conformité : classification des données, règles d’usage, gestion des secrets, chiffrement, IAM, journalisation, rétention, exigences d’audit
• Conception du « guardrail » LLM : politiques d’accès, filtrage/contrôle de contenu, validation des entrées/sorties, contrôle des outils (tool calling), limites de contexte, gestion des erreurs et comportements sûrs
• Mise en place/renforcement des pratiques d’industrialisation sur GCP : environnements, CI/CD, séparation dev/test/prod, contrôles de sécurité dans les pipelines, gestion des artefacts
• Observabilité et run : définition des indicateurs (qualité, sécurité, coûts, latence), mise en place de monitoring/alerting, gestion des incidents, playbooks et procédures d’exploitation
• Gouvernance des prompts et versions : gestion de configuration, traçabilité, revues, tests de non-régression, validation avant mise en production
• Contribution à des POC « agentiques » : cadrage, design pragmatique, critères de succès, sécurisation by design, préparation au passage à l’échelle
• Production des livrables de référence : référentiel de contrôles, guidelines de développement sécurisé GenAI, modèles de documents (assessment, checklists), et recommandations de trajectoire

Outils & Environnement

• Google Cloud Platform (GCP) avec maîtrise des fondamentaux sécurité : IAM, réseaux, chiffrement, logs, gestion des secrets
• CI/CD avec intégration de contrôles sécurité (SAST/DAST, scans dépendances, politiques, quality gates) adaptés aux composants GenAI
• Observabilité et approche SRE/Run pour services GenAI : monitoring, alerting, logs, traces
• Techniques de mitigation des vulnérabilités GenAI : guardrails, validation, sandboxing, least privilege
• Méthodologies de threat modeling et analyse de risques spécifiques GenAI

Conditions de travail

• Date de démarrage : ASAP
• Durée : À définir
• Localisation : Paris Intramuros
• Télétravail : 3 jours de présentiel, 2 jours de télétravail
• TJM : Selon profil