Méthodologie des prédictions Hermes : prévisions falsifiables & oracles de résolution
1. La crise épistémique du renseignement sur la menace
Section intitulée « 1. La crise épistémique du renseignement sur la menace »Les publications conventionnelles en cybersécurité abondent en prévisions invérifiables :
- « Les attaquants pourraient cibler davantage les passerelles VPN dans les mois à venir. »
- « Les organisations doivent s’attendre à une exploitation soutenue des failles d’injection. »
Ces formulations semblent pertinentes, mais violent le critère de falsifiabilité de Karl Popper :
- Absence d’échéance temporelle : si aucune attaque ne survient en 6 mois, l’auteur explique que la menace est « encore diffuse ». Si une attaque survient au bout de 3 ans, il revendique une prescience visionnaire.
- Absence de probabilité chiffrée : si un événement ayant 5% de probabilité se produit, l’analyste affirme l’avoir prévu. Si un événement crédité de 95% ne se produit pas, il allègue que le « contexte opérationnel a changé ».
- Absence d’Oracle impartial : l’auteur s’auto-évalue et décide unilatéralement si la réalité confirme ou non son intuition.
La Méthodologie Hermes Forecast substitue à ces esquives verbales des prévisions probabilistes formelles, des horizons rigides et des oracles de résolution déterministes.
2. Banc d’essai interactif des prédictions
Section intitulée « 2. Banc d’essai interactif des prédictions »Consultez les prédictions en cours, examinez les preuves de résolution des oracles et simulez des scénarios contrefactuels :
Diagramme de Fiabilité & Calibration Empirique (Déciles)
Un modèle parfaitement calibré produit un événement avec une fréquence empirique égale à sa probabilité annoncée. L'inclusion délibérée d'échecs prédictifs (ex: CVE-2025-3248) combat le cherry-picking et atteste de l'intégrité épistémique (Principe P5).
| Plage de Probabilité | Prédictions | Probabilité Moyenne | Fréquence Observée | Écart de Calibration | Visualisation |
|---|---|---|---|---|---|
| 0.00 - 0.20 | 0 (0 résolues) | — | En attente | — | |
| 0.20 - 0.40 | 0 (0 résolues) | — | En attente | — | |
| 0.40 - 0.60 | 0 (0 résolues) | — | En attente | — | |
| 0.60 - 0.80 | 7 (2 résolues) | 73% | 50% | +0.23 | |
| 0.80 - 1.00 | 6 (3 résolues) | 87% | 100% | -0.13 |
Simulateur Contrefactuel « What-If »
Testez l'impact des résolutions futures sur le Score de Brier global en temps réel3. Fondements mathématiques : le score de brier & la calibration
Section intitulée « 3. Fondements mathématiques : le score de brier & la calibration »Pour mesurer objectivement si les prévisions d’Hermes traduisent une réelle compétence ou une simple succession de coups de chance, nous utilisons le score de Brier ($BS$), établi par Glenn W. Brier en 1950 :
Score individuel d’une prédiction
Section intitulée « Score individuel d’une prédiction »Pour une prédiction i, le score de Brier calcule l’écart quadratique entre la probabilité annoncée f_i et le résultat binaire observé o_i :
BS_i = (f_i - o_i)^2Où :
f_iest la probabilité assignée lors de la publication ($0.0 \le f_i \le 1.0$)o_iest le résultat empirique ($o_i = 1$ si l’oracle a vérifié l’événement avant la date butoir ; $o_i = 0$ si l’horizon est échu sans réalisation)
Score de brier moyen global
Section intitulée « Score de brier moyen global »Sur un ensemble de N prédictions résolues, la performance moyenne s’exprime par :
BS = (1 / N) * SOMME_{i=1}^N (f_i - o_i)^2Le score de Brier est une règle de score strictement propre (strictly proper scoring rule) : un analyste minimise mathématiquement sa pénalité s’et seulement s’il annonce sa véritable croyance probabiliste. L’excès de confiance est lourdement sanctionné : prédire 99% sur un événement qui échoue coûte (0.99 - 0)^2 = 0.9801, tandis que l’indécision excessive est pénalisée face à des événements récurrents.
Score de compétence de brier ($BSS$)
Section intitulée « Score de compétence de brier ($BSS$) »Pour étalonner Hermes par rapport à un modèle aléatoire naïf (attribuant $P = 0.50$ systématiquement, ce qui donne un score de référence BS_ref = 0.25) :
BSS = 1 - (BS / BS_ref) = 1 - (BS / 0.25)- Un $BSS$ positif ($> 0%$) matérialise un gain d’information réel par rapport au hasard pur.
- Un niveau de $+58%$ (performance opérationnelle actuelle de Hermes avec $BS \approx 0.1043$) atteste d’une calibration empirique de premier rang.
4. Oracles épistémiques & vérification de terrain
Section intitulée « 4. Oracles épistémiques & vérification de terrain »Une prédiction ne peut être jugée par celui qui l’a émise. Hermes délègue son arbitrage à des oracles déterministes :
+-------------------------------------------------------------------------------+| TAXONOMIE DES ORACLES |+-------------------------------------------------------------------------------+| Type d'oracle | Source d'autorité | Règle d'arbitrage |+-------------------------------+-------------------------+---------------------+| cisa_kev_inclusion | Flux JSON CISA KEV | Match ID CVE exact || verified_public_weaponization | GitHub / Exploit-DB | PoC fonctionnel || greynoise_mass_exploitation | Réseau de sondes GN | Seuil IPs malveill. || shadowserver_telemetry | Fondation Shadowserver | Télémétrie paquets || cert_national_advisory | ANSSI / CISA / BSI | Alerte d'urgence |+-------------------------------------------------------------------------------+Règles d’arbitrage
Section intitulée « Règles d’arbitrage »- Échéance temporelle : si la date butoir (ex:
2026-10-15T00:00:00Z) est atteinte sans confirmation de l’oracle, la prédiction bascule automatiquement enRESOLVED_FALSEavec $o_i = 0$. - Confirmation anticipée : si l’oracle confirme l’événement au 3ᵉ jour d’une fenêtre de 30 jours, la prédiction est immédiatement validée en
RESOLVED_TRUEavec $o_i = 1$. - Immutabilité stricte (principe P5) : ni la probabilité, ni l’horizon, ni le critère ne peuvent être retouchés après publication.
5. L’honnêteté épistémique : pourquoi publier nos échecs ?
Section intitulée « 5. L’honnêteté épistémique : pourquoi publier nos échecs ? »Le biais rétrospectif humain (hindsight bias) rend tout événement passé évident a posteriori (« nous l’avions toujours su »). De nombreux cabinets masquent discrètement leurs prédictions erronées pour afficher un taux artificiel de 100% de réussite.
Hermes affiche ouvertement ses prédictions invalidées. Par exemple :
PRED-003(corruption mémoire Langflow CVE-2025-3248) : créditée de $P = 0.65$ pour une vague de scans opportunistes massifs sous 30 jours. À l’échéance, GreyNoise n’a relevé que 11 requêtes académiques inoffensives ; la fragilité du payload a dissuadé les botnets.- Cette prédiction est archivée à titre permanent en
RESOLVED_FALSEavec une pénalité de $BS = 0.4225$.
Cet échec remplit deux missions clés :
- Recalibration du modèle : il a démontré qu’un score CVSS élevé dans une extension C Python ne conduit pas à une militarisation rapide si l’alignement mémoire instable provoque un crash serveur plutôt qu’une exécution fiable.
- Crédibilité mathématique : un système affichant un score moyen de
0.1043tout en assumant ses erreurs à 0.4225 offre une garantie d’intégrité institutionnelle bien supérieure à un flux prétendant à l’infaillibilité.
6. Intégration dans la roadmap stratégique Hermes
Section intitulée « 6. Intégration dans la roadmap stratégique Hermes »Hermes Forecast constitue la Release 2.0 de la feuille de route d’Hermes :
V1.0 Fondation (Ontologie & Graphe de preuves) ↓V1.1 Observatoire Hermes (Ingestion des signaux & Entonnoir de réduction) ↓V1.2 Trajectoire de Risque (Vélocité, accélération & cinétique) ↓V1.3 Renseignement Historique (Instantanés quotidiens & Machine à remonter) ↓V1.4 Génome de Vulnérabilité (Loci modulaires & Distance génétique Dg) ↓V1.5 Autopsie Forensique (Post-mortems inversés & Matrice contrefactuelle) ↓V2.0 Prédictions Hermes (Prévisions falsifiables & Oracles de résolution)En reliant le Génome de vulnérabilité (détection des signatures structurelles de failles) aux Prédictions Hermes (anticipation de la militarisation) et à l’Autopsie Hermes (vérification forensique des échecs de contrôle), Hermes structure une plateforme intégrée de cyber-intelligence auto-calibrée.