Comparatif des benchmarks cyber pour l'IA : CyberGym vs ExploitGym vs ExploitBench vs SRE-Bench

Suite Comparée4 Grands Cadres d’Évaluation
Volume Global de Tâches4 000+ Épreuves Déterministes
Spectre CouvertCrashs · Exploitation · Binaires
État de l’ArtModèles de Raisonnement Frontière

1. Introduction : la fragmentation de l’évaluation cyber de l’IA

Entre 2024 et 2026, l’évaluation des compétences en cybersécurité des modèles de langage est passée des questionnaires statiques à choix multiples (comme SecQA) à des environnements d’exécution dynamiques et interactifs. Cependant, chaque laboratoire développant son propre protocole, les affirmations publiées se contredisent régulièrement :

Une étude annonce que son agent IA résout 82% des tâches de cybersécurité.
Une autre publication évaluant le même modèle rapporte un taux d’échec supérieur à 85%.

Ces divergences s’expliquent simplement : « pirater » n’est pas une compétence indivisible. Il existe un gouffre technique incommensurable entre générer une entrée provoquant un crash sur une bibliothèque C et synthétiser une chaîne d’exploitation ROP multi-étapes contre un moteur de navigateur durci.

Cette étude propose une analyse comparative approfondie des quatre benchmarks majeurs qui définissent la mesure des capacités cyber des agents IA en 2026 : CyberGym, ExploitGym, ExploitBench et SRE-Bench.

2. Taxonomie des benchmarks : que mesure chaque protocole ?

┌───────────────────────────────────────────────────────────────────────────────────┐
│                    LE PAYSAGE DE L'ÉVALUATION CYBER DE L'IA                       │
└────────────────────────────────────────┬──────────────────────────────────────────┘
                                         │
     ┌───────────────────┬───────────────┴───────────────┬───────────────────┐
     ▼                   ▼                               ▼                   ▼
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐
│    CyberGym     │ │   ExploitGym    │ │  ExploitBench   │ │    SRE-Bench    │
│(arXiv:2506.02548│ │(arXiv:2605.11086│ │(arXiv:2605.14153│ │(arXiv:2608.11469│
├─────────────────┤ ├─────────────────┤ ├─────────────────┤ ├─────────────────┤
│ • Axe : Crash   │ │ • Axe : Armement│ │ • Axe : Échelle │ │ • Axe : Rétro-  │
│   & Entrée PoC  │ │   Complet & RCE │ │   en 16 Niveaux │ │   Ingénierie &  │
│ • 1 507 Failles │ │ • 898 Failles   │ │ • 41 Cibles V8  │ │   Anti-Débogage │
│ • 188 Dépôts C  │ │ • Userspace,    │ │ • Primitives de │ │ • 19 Logiciels  │
│ • Code Source   │ │   V8 & Noyau    │ │   Mémoire V8    │ │ • 1 572 Tâches  │
│   Accessible    │ │ • Capture Flags │ │ • Oracles Fins  │ │ • 0% Contaminé  │
└─────────────────┘ └─────────────────┘ └─────────────────┘ └─────────────────┘

3. Comparatif architectural Face à Face

Le tableau suivant met en regard les méthodologies de conception, les modèles d’exécution et les mécanismes de notation des quatre bancs d’essai :

Dimension Évaluée	CyberGym	ExploitGym	ExploitBench	SRE-Bench
Objectif Premier	Génération d’entrée PoC & crash reproductible	Exécution de code arbitraire (ACE/RCE)	Validation des étapes du pipeline d’exploitation	Analyse de binaires dépouillés & défaite anti-debug
Volume d’Épreuves	1 507 CVEs	898 Instances	41 Cibles (656 Tâches)	262 Binaires (1 572 Tâches)
Surface Cible	188 logiciels open-source en C/C++	Applications utilisateur, moteur V8, noyau Linux	Moteur JIT Google Chrome V8	Serveurs réseau, firmwares, malwares, parseurs
Artefacts Fournis	Code source, correctifs, rapports d’incidents	Code source, fichier PoV de crash, options de compilation	Binaire d8 V8, test de régression, diff	Binaires compilés dépouillés ELF/PE UNIQUEMENT
Vérification de Succès	Rapport de crash ASan / code retour conforme	Capture déterministe d’un flag via shellcode	16 oracles automatisés de défi-réponse	Clé cryptographique exacte ou jeton d’évasion
Risque de Contamination	Élevé (CVEs et issues publiques sur GitHub)	Modéré (CVEs réelles avec environnements adaptés)	Modéré (Failles connues, oracles randomisés)	Nul (100% de code privé écrit pour l’étude)
Taux Succès Modèles Frontière	48.2% – 62.4%	13.4% – 17.5%	21.8% (Moyenne paliers)	11.2% – 14.6%

4. Analyse critique croisée des quatre mécanismes

A. CyberGym : le pionnier de l’échelle (génération de PoC)

CyberGym a prouvé que des modèles de langage pouvaient automatiser l’analyse de dépôts de code pour reproduire des crashs.

Forces : échantillonnage massif (1 507 vulnérabilités) couvrant une multitude de bibliothèques.
Limites : cyberGym traite la reproduction d’un crash comme un équivalent d’exploitation. Un déréférencement de pointeur nul qui tue un processus est comptabilisé comme un succès, alors qu’il n’offre aucun vecteur d’intrusion réel.

B. ExploitGym : l’épreuve de l’armement réel

ExploitGym teste directement le franchissement de la barrière d’exécution : transformer un crash en shell fonctionnel.

Forces : intégration des mitigations (ASLR actif vs inactif) et évaluation du noyau Linux.
Limites : la notation binaire (succès/échec) masque les progrès intermédiaires réalisés le long de la chaîne.

C. ExploitBench : l’échelle de maturité décomposée

Au lieu d’un verdict tout-ou-rien, ExploitBench découpe l’exploitation en 16 paliers mesurables :

Décomposition : crash $\to$ fuite mémoire $\to$ faux objet $\to$ lecture arbitraire $\to$ écriture arbitraire $\to$ détournement de flux $\to$ évasion de bac à sable.
Apport majeur : il révèle précisément où l’agent s’effondre (ex. l’agent valide la lecture arbitraire mais échoue à sortir du bac à sable V8).

D. SRE-Bench : le sanctuaire de l’anti-analyse

SRE-Bench évalue l’adversité la plus pure : du code compilé, privé et lourdement défendu.

Innovation : aucune contamination possible. Les modèles ne peuvent réciter de mémoire des rapports de sécurité.
Le bilan : dès que le code source disparaît et que l’obfuscation intervient, l’efficacité des agents chute sous la barre des 15%.

5. Synthèse des capacités réelles des agents IA en 2026

┌──────────────────────────────────────────────────────────────────────────────────┐
│              CARTE SYNTHÉTIQUE DES CAPACITÉS D'ATTAQUE PAR L'IA                  │
├──────────────────────────────────────────────────────────────────────────────────┤
│ CAPACITÉ ÉLEVÉE (>50% de Taux de Succès) :                                       │
│   ✔ Repérer des classes de bugs classiques dans du code source C (CyberGym).     │
│   ✔ Générer des entrées de fuzzing provoquant des crashs mémoires (CyberGym).    │
│   ✔ Décompiler et résumer des fonctions x86-64 non obfusquées (SRE-Bench).      │
├──────────────────────────────────────────────────────────────────────────────────┤
│ CAPACITÉ MODÉRÉE (15% à 35% de Taux de Succès) :                                 │
│   ◑ Exploiter des débordements de pile sans ASLR en userspace (ExploitGym).      │
│   ◑ Synthétiser des primitives de fuite d'adresse pour voler un canari.          │
│   ◑ Résoudre des crackmes simples (<5 000 lignes) sans anti-débogage (SRE-Bench) │
├──────────────────────────────────────────────────────────────────────────────────┤
│ CAPACITÉ FAIBLE OU NULLE (<5% de Taux de Succès) :                               │
│   ✖ Synthèse autonome d'exploits dans le noyau Linux (ExploitGym).               │
│   ✖ Évasion complète de bacs à sable JIT avec protections modernes durcies.     │
│   ✖ Rétro-ingénierie de logiciels commerciaux obfusqués avec aplatissement de CFG│
└──────────────────────────────────────────────────────────────────────────────────┘

6. Comment les responsables de sécurité doivent juger les annonces vendeurs ?

Face aux déclarations marketing vantant les « capacités offensives autonomes » d’un modèle, trois questions techniques doivent être posées :

L’évaluation a-t-elle été menée sur le code source OU sur le binaire compilé ?
Si l’agent disposait du code C, il a fait de la vérification logicielle, non de l’analyse offensive binaire.
Quel était l’Oracle de validation ?
L’agent a-t-il simplement déclenché une faute de segmentation (SIGSEGV), ou a-t-il capturé un flag par exécution de shellcode ?
Comment la contamination a-t-elle été éliminée ?
Les défis testés étaient-ils des épreuves de CTF publiques antérieures à la date de coupure de l’entraînement ?

SRE-Bench : les Limites de l'IA en Rétro-Ingénierie Consultez l'analyse du benchmark sans contamination sur 19 binaires dépouillés.

ExploitGym : de la Faille à l'Attaque Examinez les taux d'armement réels mesurés sur 898 CVEs opérationnelles.

Stratégie Éditoriale : agents IA & Cybersécurité Découvrez l'échelle des 10 niveaux de capacité et notre méthodologie d'évaluation.

Score de Menace Hermes (HTS) Apprenez comment Hermes évalue le risque d'exécution autonome et le rayon d'impact.