Breizhmark #1 · annexe de l'article

Une crêperie de soixante jours n'est pas une entreprise, et nous ne mesurons qu'une chose : ce qu'un agent fait quand un problème arrive sans prévenir et qu'il faut aller chercher l'information soi-même.

Il faut aussi dire ce que valent nos chiffres. Cinq parties par modèle, trois modèles, un seul monde, un seul joueur humain. C'est assez pour affirmer qu'aucune des quinze parties n'a surveillé en continu, ou que quatre n'ont jamais rien corrigé : ce sont des dénombrements, pas des estimations. C'est trop peu pour départager deux modèles que 4 € séparent.

Le rapprochement entre la recette et la consultation du même matin porte sur 795 matins. Six formes du signal ont été essayées : une seule ressort positive, le nombre de reculs consécutifs, et toutes celles qui mesurent le niveau ressortent négatives. Neutraliser le jour est indispensable, sans quoi on attribuerait au signal ce qui revient au calendrier.

Lire la preuve, est-ce la comprendre ? Nous avons repris la mesure par l'autre bout, par ce qu'ils font : combien de parties actionnent, après le huitième jour, un levier de qualité, monter en gamme ou changer de fournisseur. Onze sur quinze, et ce sont exactement les mêmes onze que celles qui ont lu un avis dégradé : cinq chez Claude, quatre chez GPT, deux chez Mistral Medium, partie par partie. Lire et comprendre ne se séparent donc pas ici ; les quatre parties que l'escalier élimine tombent toutes en amont, sur le seul fait d'aller regarder.

La décomposition de la variance et le contrefactuel tiennent parce que nous avons écrit le monde : la formule de fréquentation est dans le simulateur, la météo est rejouable à l'identique, et neutraliser la note revient à diviser par un facteur connu. C'est un luxe de laboratoire, hors de portée d'une entreprise sur ses propres ventes.

Le panel n'est pas homogène et nous n'avons pas pu le rendre tel : Mistral Medium tourne à effort haut, Claude et GPT à effort bas, et aucune température n'est forcée puisque la même valeur ne désigne pas la même chose d'une échelle à l'autre. Ces écarts contaminent la longueur des textes, non les appels d'outils ni les décisions. L'historique n'est jamais tronqué : quand un agent ne relit pas les avis, ce n'est pas qu'il a oublié l'avoir fait.

Enfin, une fraude par substitution est un mode de défaillance parmi beaucoup. Elle a été choisie parce qu'elle est invisible dans les comptes et lisible dans les avis, ce qui sépare proprement les agents qui vont chercher de ceux qui attendent. Rien ne dit que le classement tiendrait avec un piège d'une autre nature.

← Retour à l'article