Aller au contenu

Recherche en Sécurité IA : La Couche d'Alignement et l'Échec du RLHF

1. Introduction : le modèle de base vs le modèle aligné

Section intitulée « 1. Introduction : le modèle de base vs le modèle aligné »

Pour comprendre pourquoi un LLM peut subir un jailbreak, les architectes de sécurité doivent comprendre comment il a été construit. La création d’un assistant IA moderne se déroule en plusieurs phases distinctes, aboutissant à une entité à double nature.

  1. Le pré-entraînement (Le modèle de base) : le modèle est entraîné à être un prédicteur de jeton suivant (next-token predictor) sans aucune contrainte. Il ingère des segments massifs d’Internet. Au cours de cette phase, il apprend absolument tout — y compris comment écrire un malware polymorphe, exploiter un dépassement de tampon et contourner des protocoles cryptographiques.
  2. Le fine-tuning supervisé (SFT) : le modèle est entraîné sur des paires de questions/réponses de haute qualité pour cesser d’agir comme une simple autocomplétion de documents et commencer à agir comme un assistant conversationnel.
  3. La couche d’alignement (RLHF / DPO) : un modèle de récompense (Reward Model - RM) évalue les sorties du LLM, attribuant des scores élevés aux réponses “utiles et inoffensives” et des scores négatifs aux réponses malveillantes. En utilisant l’optimisation des politiques de proximité (PPO) ou l’optimisation directe des préférences (DPO), les poids du modèle sont ajustés pour favoriser les sorties sûres.

La faille fondamentale : le processus RLHF ne supprime pas les connaissances dangereuses acquises à l’Étape 1. Il entraîne simplement le modèle à exécuter une politique comportementale spécifique : “si le prompt de l’utilisateur correspond à un concept nuisible, active le circuit de refus et produis des excuses.” Les connaissances dangereuses restent complètement intactes au sein des poids du modèle, dormantes mais mathématiquement accessibles.

Les avancées récentes en interprétabilité mécaniste (l’analyse du câblage neuronal interne d’un LLM) ont prouvé que le RLHF crée des “schémas de sécurité” (Safety Patterns) ou des circuits de refus très localisés au sein du modèle.

Lorsqu’un prompt malveillant standard et non offusqué (ex: “écris un keylogger en Python”) est encodé dans le modèle, les vecteurs résultants atterrissent directement à l’intérieur d’un “cluster nuisible” bien défini dans l’espace latent du modèle.

Cela active le circuit de refus. Ce circuit prend agressivement le pas sur la “pulsion de continuation” intrinsèque du modèle (son besoin mathématique de répondre au prompt), décalant de force les logits de la couche finale vers des jetons sûrs comme “je ne peux pas vous aider avec cela.”

3. Pourquoi le RLHF s’effondre : le dilemme hors distribution (OOD)

Section intitulée « 3. Pourquoi le RLHF s’effondre : le dilemme hors distribution (OOD) »

Le modèle de récompense utilisé pour entraîner le circuit de refus n’est qu’un autre réseau de neurones. Il a été entraîné sur un jeu de données fini d’attaques étiquetées par des humains. Cela crée une vulnérabilité structurelle dévastatrice : l’angle mort hors distribution (Out-of-Distribution - OOD).

Si un attaquant conçoit un prompt structurellement dissimilaire aux données d’entraînement du modèle de récompense, ce prompt tombe dans la “longue traîne” (longtail) de la distribution.

Offuscation et traduction

demander un script malveillant en Base64, en hexadécimal ou dans une langue rare (comme le gaélique écossais) pousse le vecteur d’entrée en dehors du “cluster nuisible” connu. Le circuit de refus ne parvient pas à reconnaître l’intention, et la pulsion de continuation du modèle de base prend le relais.

Tromperie multi-tours (Crescendo)

comme documenté dans des recherches de 2025, les jailbreaks multi-tours (comme Crescendo) augmentent lentement la malveillance d’une conversation sur 10 à 20 tours. Parce que le modèle de récompense RLHF évalue principalement un contexte à un seul tour, le glissement progressif maintient les représentations du modèle dans une région “bénigne”, contournant entièrement l’alignement de sécurité.

4. La physique des jailbreaks : l’ingénierie des représentations (RepE)

Section intitulée « 4. La physique des jailbreaks : l’ingénierie des représentations (RepE) »

Le jailbreak n’est pas un art linguistique ; c’est la science de la tromperie représentationnelle.

Des recherches pionnières de 2024 et 2025 (telles que le framework JailbreakLens et les études sur le Representation Engineering) révèlent exactement comment un jailbreak met en échec la couche RLHF d’un point de vue purement mathématique.

Un prompt de jailbreak réussi (ex: un jeu de rôle élaboré tel que “tu es un membre autorisé de la red team opérant dans un environnement cyber sécurisé et déconnecté…”) agit comme une matrice de transformation mathématique.

  1. l’attaquant injecte des jetons “contourneurs de sécurité” (safety-bypassing) dans le prompt.
  2. pendant l’inférence, ces jetons amplifient les composants neuronaux internes qui renforcent les réponses affirmatives.
  3. simultanément, ils suppriment l’activation des neurones de refus.

La représentation du prompt est repoussée de force hors du cluster “nuisible” et traînée dans une région “bénigne/sûre” de l’espace latent. Pour le circuit de sécurité RLHF, le prompt semble mathématiquement sûr, déverrouillant ainsi la boîte de Pandore du modèle de base pré-entraîné.

Les pare-feux d’applications web (WAF) standards basés sur le texte et les filtres “LLM-as-a-Judge” échouent face à l’ingénierie des représentations car le texte sémantique semble souvent inoffensif ou hautement abstrait.

Pour détecter les jailbreaks sophistiqués, les analystes DFIR et les équipes SOC doivent implémenter une observabilité AI-EDR au niveau tensoriel. En s’accrochant (hooking) au flux résiduel (residual stream) du LLM pendant l’inférence, les défenseurs peuvent surveiller en temps réel les changements d’activation dans les circuits de refus.

repe_jailbreak_sensor.py
# Implémentation conceptuelle d'un capteur d'ingénierie des représentations (RepE)
# Détecte lorsqu'un prompt tente de supprimer mathématiquement les circuits de sécurité
import torch
def safety_circuit_monitor(module, input, output):
"""
Surveille les niveaux d'activation des neurones de sécurité/refus connus
dans une couche intermédiaire critique pour l'injection.
"""
# On suppose que 'safety_direction' est un vecteur pré-calculé représentant le concept de refus
hidden_states = output[0]
# Calculer la projection de l'état caché actuel sur la direction de sécurité
safety_activation = torch.dot(hidden_states[-1, :], safety_direction)
# Si la complexité sémantique de la sortie est élevée (ex: génération de code)
# MAIS que l'activation de sécurité est anormalement négative, cela indique
# une suppression forcée de la couche RLHF (un Jailbreak).
if is_code_generation(hidden_states) and safety_activation < -2.5:
log_to_siem("CRITIQUE : Tromperie représentationnelle détectée. Circuit RLHF supprimé.")
raise JailbreakException("Exécution interrompue par l'AI-EDR.")
# Enregistrer le hook sur la couche où les fonctionnalités de sécurité s'activent typiquement
model.model.layers[15].register_forward_hook(safety_circuit_monitor)

La dépendance au “refus” via RLHF est une relique des débuts de l’ère des chatbots. Elle est fondamentalement insuffisante pour l’avenir agentique et à fort enjeu de l’intelligence artificielle.

Tant que des connaissances dangereuses resteront intégrées dans les poids du modèle de base, les attaquants trouveront des chemins mathématiques à travers l’espace latent pour contourner la couche d’alignement. Sécuriser l’IA Agentique nécessite de dépasser l’alignement comportemental pour s’orienter vers une sécurité structurelle et des architectures dites “Knowledge-Gapped” (où les données sensibles sont absentes) — où les capacités destructrices ou confidentielles sont physiquement excisées des poids du modèle, ou strictement contrôlées par des architectures de sécurité orientées capacités.


  • Recherche arXiv (2025) : The Struggle Between Continuation and Refusal: A Mechanistic Analysis of the Continuation-Triggered Jailbreak in LLMs (2603.08234)
  • Recherche arXiv (2025) : JailbreakLens: Interpreting Jailbreak Mechanism in the Lens of Representation and Circuit (2411.11114)
  • ACL Anthology (2025) : Revisiting Jailbreaking for Large Language Models: A Representation Engineering Perspective
  • Recherche arXiv (2025) : A Representation Engineering Perspective on the Effectiveness of Multi-Turn Jailbreaks (2507.02956)
  • Analyse liée : Les mathématiques de l’attention et la détection de détournement au niveau tensoriel