REGARD · Évaluation
Des chiffres mesurés, pas annoncés
Un système fiable, ça se prouve. Un harnais d'évaluation en Python rejoue 28 questions de référence contre l'agent et calcule ses métriques réelles , reproductibles par n'importe qui.
Le principe. Un « golden dataset » de 28 questions décrit le comportement attendu de chacune (répondre ou refuser, quelle intention, sources cohérentes). Le harnais interroge l'agent en boîte noire via son API et compare. La commande python eval/run_eval.py régénère tous ces chiffres.
28 / 28
Toutes les questions de référence passent.
100 %
Répondre quand il faut, refuser quand il faut.
100 %
Chaque refus est légitime (donnée absente ou hors périmètre).
100 %
Chaque chiffre annoncé est sourcé vers une ligne existante.
100 %
La question est rangée dans la bonne catégorie.
~370 ms
p95 à ~660 ms.
~0,26 $
Pour 1000 requêtes.
0–17 %
Mesure bruitée , voir plus bas.
Ce que l'évaluation a fait remonter
Le projet a été construit par itérations. À chaque étape, le harnais a révélé de vrais problèmes , que seule la mesure rend visibles. Les corriger, c'est ça, la fiabilité.
Totaux multidevises
Détecté , Le calcul additionnait EUR + USD + GBP + CHF en un seul chiffre , financièrement faux, avec une fausse alerte de dépassement.
Corrigé , Agrégation par devise, puis conversion en euros à taux fixes documentés.
Sourcing incohérent
Détecté , Sur les questions « top N », les citations montraient des contreparties absentes de la réponse.
Corrigé , Chaque réponse ne cite plus que les enregistrements qui la fondent.
Conflit de règles
Détecté , L'ajout de « dépassement de limite » détournait à tort les questions « au-dessus de X millions ».
Corrigé , Condition de priorité ajoutée , régression rattrapée par l'éval.
Latence extrême
Détecté , Certaines requêtes atteignaient 60 s à cause de la limitation de débit du LLM.
Corrigé , Timeout + repli déterministe → latence médiane sous 400 ms.
Une limite mesurée honnêtement
Le taux d'hallucinations détectées n'est pas un chiffre fixe. Le vérificateur repose sur un LLM-juge, qui est non-déterministe : sur une réponse identique, relancée plusieurs fois, il a répondu « ancré », « ancré », puis « non ancré ». La réponse, elle, ne changeait pas. Ce taux est donc une mesure bruitée (0 à 17 % observé), à lire sur plusieurs runs , pas une vérité gravée. Le dire fait partie de la rigueur : on ne présente pas une métrique bruitée comme une certitude.