Thèse Sécurité des Modèles d'IA Générative Détection des Attaques par Porte Dérobée de Nouvelle Génération H/F

Détail du poste

Établissement : Université Paris-Saclay GS Informatique et sciences du numérique École doctorale : Sciences et Technologies de l'Information et de la Communication Laboratoire de recherche : CEA /LIST - Laboratoire d'intégration de systèmes et de technologies Direction de la thèse : Antoine SOULOUMIAC Début de la thèse : 2026-10-08 Date limite de candidature : 2026-10-31T23:59:59 Cette thèse vise à étudier et détecter les attaques par porte dérobée au sein des écosystèmes de modèles d'IA générative (modèles autonomes, systèmes de génération augmentée par récupération (RAG) et agents autonomes basés sur des LLM).
Contexte : De nombreux utilisateurs (particuliers, institutions, ONG et même entreprises) ne sont actuellement pas en mesure de développer leurs propres systèmes d'IA générative. Ils s'orientent donc vers le téléchargement d'agents ou de modèles d'IA générative open source, généralement conçus pour être très accessibles et faciles à utiliser, ne nécessitant que peu d'expertise technique. Cette pratique est largement répandue en raison du grand nombre de modèles open source et d'implémentations d'agents LLM disponibles en ligne (par exemple, Hugging Face héberge plus de deux millions de modèles publics). Malheureusement, l'intégrité comportementale du modèle téléchargé n'est jamais vérifiée, et celui-ci peut avoir été préalablement compromis par une porte dérobée. Il existe donc un besoin urgent de mettre en place des mécanismes de défense capables d'analyser les composants d'un système d'IA générative (modèles et bases de connaissances) et d'identifier ceux qui ont été empoisonnés.
Objectifs : La recherche se concentrera sur le développement de mécanismes innovants de détection et de défense contre les attaques furtives basées sur des triggers, en mettant l'accent sur les scénarios de déploiement réels et sur des benchmarks d'évaluation robustes. En plus de développer des mécanismes de défense et de mettre le code à disposition en open source, la thèse vise également à fournir à la communauté scientifique un framework d'évaluation complet. Generative AI (genAI) models have achieved remarkable capabilities in producing original contents (such as text, image or code) due to their exceptional generative capabilities. Nowadays, modern architectures extend beyond the standalone models to offer more specialized and autonomous services. Retrieval-Augmented Generation (RAG) [1] allows genAI models to reference an external knowledge base of documents during generation in order to create domain-specific content. LLM-based agents [2] can reason through a problem, create a plan to solve it and autonomously complete tasks with the help of a set of tools.
A common threat to this genAI ecosystem (standalone model, RAG and agent) is the risk of backdoor poisoning, leading to targeted and often stealthy misbehavior. Indeed, a malicious behavior can be embedded during training or introduced through external dataset in such a way that the attack remains dormant under normal conditions but is triggered by specific inputs (often a keyword in the user's query or agent's environment). These attacks were first successfully applied in the field of computer vision [3] before their deployment was extended to other types of models, including generative AI models [4]. Numerous backdoor attacks have thus been proposed in the scientific literature, targeting not only LLMs (e.g. prompt or instruction-based attack [5;6]) but also RAG-based systems (e.g. poisoning documents [7;8;9;10]) and AI agents (e.g. thought-attacks [11;12]). These attacks can target both the model's integrity (by generating biased or malicious responses) and data confidentiality (by extracting information from the RAG knowledge base). A backdoored model can even be used as an attack vector to deploy malware on the computer of an AI agent's user [13].
Many users (persons, institutions, NGOs and even industries) are currently not in a position to develop their own AI agents. Thus, they may download open-source genAI models or LLM-based agents that are typically designed to be highly accessible and user-friendly, requiring minimal to no technical expertise. This practice is widespread due to the large number of open-source models and LLM agent implementations available online (e.g. Hugging Face hosts over two million public models). Unfortunately, the behavioral integrity of the downloaded model is never verified, and the model may have been previously backdoored. This is all the more critical as studies [12;14] have shown that backdoored models are resistant to a fine-tuning stage on trustworthy data.
There is therefore an urgent need to provide defense mechanisms capable of scanning the components of a generative AI system (models and knowledge bases) and identifying those that have been backdoored. Surprisingly, research on defenses over the past few years has largely focused on prompt injection or jailbreaks, significantly overlooking backdoor attacks. To the best of our knowledge, no evaluation framework currently exists. Moreover, only one relevant paper [15] addresses this topic, and could serve as foundational work for this thesis.
See bibliographic references below. The main objective of the thesis is to provide a tool that, similar to an antivirus system for software security, can scan the components of an AI model to detect the presence of a backdoor. The thesis is divided into four stages:
1. Propose threat models and risk analysis related to the backdoor attacks within the genAI ecosystem. Formalize a comprehensive taxonomy based on the attack objective, the attacker's resources, the type of trigger and propagation mechanisms.
2. Build a whole evaluation framework composed of benchmark datasets (for both trigger-based attacks and poisoned retrieval corpora), evaluation metrics and protocols. Such a framework is essential to enable benchmarking across research teams.
3. Develop and evaluate methods to detect hidden malicious behaviors within models without prior knowledge of triggers; and detect adversarial passages within an external knowledge base of documents.
4. Ensure the dissemination of defense mechanisms through publications and open-source code releases.

Le profil recherché

Le poste est ouvert aux candidats titulaires d'un Master 2 ou équivalent dans l'un des domaines suivants : Intelligence Artificielle, Apprentissage Automatique ou Statistiques.Le candidat devra être capable d'apporter ses idées novatrices, son enthousiasme et sa rigueur et devra faire preuve d'un esprit d'équipe prononcé.