En bref
Nous mesurons ce que les modèles répondent, et nous nous arrêtons là. Pas de classement, pas de note, pas de moyenne, pas de conclusion. Ce n'est pas une limite technique : c'est un choix de méthode. Dès qu'on classe ou qu'on interprète, on ajoute un jugement à la mesure — et ce jugement n'est plus un fait. Nous vous livrons les faits ; l'interprétation vous revient.
Mesurer et juger sont deux gestes différents
Constater qu'un modèle a produit telle réponse dans 14 tirages sur 20, c'est mesurer. Décider que ce 14/20 est « bon » ou « mauvais », qu'un modèle est « meilleur » qu'un autre, ou que telle réponse « l'emporte », c'est juger.
Le premier geste est vérifiable : n'importe qui, dans les mêmes conditions, retrouverait le même ordre de grandeur. Le second dépend de qui juge, de ce qui compte pour lui, de ce qu'il cherche à démontrer. En mêlant les deux, on maquillerait une opinion en résultat de mesure. C'est exactement ce que nous refusons.
Ce que nous ne faisons pas, concrètement
- Nous ne classons pas. Aucun palmarès, aucun « meilleur modèle », aucun « meilleur candidat ». Chaque modèle est présenté à côté des autres, jamais au-dessus.
- Nous ne notons pas. Aucun score de synthèse, aucune évaluation globale. Une fréquence n'est pas une note.
- Nous ne moyennons pas entre modèles. Chaque modèle reste une colonne à part. Fusionner quatre modèles en un chiffre unique effacerait précisément ce qui nous intéresse : leurs différences.
- Nous ne concluons pas. Nous ne disons pas ce qu'il faut penser de ce que nous mesurons, ni ce qu'il faudrait en faire.
Pourquoi c'est plus utile ainsi
On pourrait croire qu'un classement ou une note rendrait service au lecteur. En réalité, ils le priveraient de l'essentiel. Un « meilleur modèle » désigné par nous imposerait notre critère de ce qui est « bon » — alors que ce critère dépend entièrement de ce que vous cherchez. Une moyenne entre modèles lisserait les divergences — alors que ces divergences sont l'information la plus précieuse.
En vous livrant la mesure brute, non agrégée, nous vous laissons appliquer vos critères, poser vos questions, tirer vos conclusions. Un journaliste, un chercheur, une institution n'ont pas les mêmes questions — et n'ont pas besoin des nôtres.
On mesure, vous traitez
C'est notre règle, et elle ne bouge pas. Nous produisons une mesure neutre, datée, scellée. Ce qu'elle signifie, ce qu'il faut en faire, les conclusions à en tirer : cela vous appartient entièrement.
Cette frontière est ce qui fait la valeur de la mesure. Une mesure qui interprète n'est plus une mesure — c'est un avis. Nous tenons à rester du côté des faits.