Expert Cybersécurité Observabilité & IA - Freelance

Contexte

Nous recherchons un Expert Observabilité IA & Cyber capable de concevoir, implémenter et opérer les mécanismes de supervision, de monitoring, d'évaluation et de gouvernance de nos systèmes d'IA générative.
L'objectif du poste est de garantir la fiabilité, la sécurité, la performance et la traçabilité des agents IA utilisés par le GSOC.

Ce rôle constitue l'un des piliers de l'industrialisation de l'IA au sein du GSOC.

Missions

• Assurer l’observabilité de bout en bout des workflows IA.

• Détecter les dysfonctionnements et comportements anormaux.

• Identifier les hallucinations et dérives de modèles.

• Suivre les performances des agents et des LLM.

• Superviser les composants AWS Bedrock et les architectures agentiques.

• Améliorer continuellement la qualité des réponses produites par les systèmes IA.

Observabilité des systèmes IA

• Définir et implémenter la stratégie d'observabilité de la plateforme agentique GSOC.

• Mettre en place le monitoring des agents IA, chaînes de raisonnement et workflows LangChain/LangGraph.

• Collecter et corréler les métriques techniques, fonctionnelles et métier.

• Construire des tableaux de bord temps réel permettant le suivi des performances et de la qualité des agents.

• Concevoir des mécanismes de traçabilité de l'ensemble des interactions IA.

AI Reliability Engineering

• Mettre en place des frameworks d'évaluation continue des agents IA.

• Définir des KPI de qualité et de fiabilité.

• Garantir le respect des SLA/SLO de la plateforme.

Sécurité des systèmes IA

• Assurer la supervision des risques liés à l'IA.

• Définir les mécanismes de gouvernance autour des agents.

• Détecter les comportements anormaux ou dangereux.

• Participer aux analyses de risques IA.

• Contrôler les accès, permissions et échanges des agents.

Intégration Observabilité & SOC

• Intégrer les événements de la plateforme IA dans Splunk.

• Concevoir les dashboards d'exploitation.

• Développer les alertes de détection liées aux systèmes IA.

• Créer les corrélations entre événements cyber et événements IA.

• Produire les indicateurs de supervision destinés aux équipes opérationnelles.

RUN & Amélioration Continue

• Assurer le maintien en condition opérationnelle de la plateforme d'observabilité.

• Investiguer les incidents liés aux agents IA.

• Identifier les causes racines des défaillances.

• Optimiser continuellement les performances, coûts et niveaux de service.

Outils & Environnement

• LangChain, LangGraph, Langsmith

• AWS Bedrock

• Splunk, XSOAR

• Frameworks d’évaluation IA

• Tableaux de bord temps réel

• GSOC (Global Security Operations Center)