En bref
Nous ne mesurons pas ce que l'IA « pense », ni si elle a raison. Nous mesurons son comportement : ce qu'un modèle répond quand on l'interroge, à quelle fréquence il le répète, et comment ses réponses varient. C'est un fait observable, reproductible et daté — pas une opinion sur la machine.
Un modèle n'a pas d'avis — il a un comportement
Il est tentant de parler de ce qu'une IA « pense » d'un sujet ou d'une personne. C'est une facilité de langage trompeuse. Un modèle de langage ne détient pas d'opinion : il produit, à chaque sollicitation, une réponse à partir de régularités apprises. La même question peut donner des réponses différentes, et rien ne garantit qu'une réponse reflète une position stable.
Ce qui existe, en revanche, et qui s'observe, c'est un comportement : face à une question donnée, le modèle a tendance à répondre certaines choses plutôt que d'autres, avec une certaine régularité. C'est cela, et cela seul, que nous mesurons.
Ce qu'on peut observer de l'extérieur
On ne peut pas ouvrir un modèle pour lire ce qu'il « sait ». Mais on peut l'interroger, comme le ferait n'importe quel utilisateur, et observer ce qui en sort. En répétant l'opération et en variant les conditions, plusieurs choses deviennent mesurables :
- Ce que le modèle énonce — les affirmations, les thèmes, les noms qu'il produit sur un sujet.
- La fréquence — à quel point chaque réponse revient, d'un tirage à l'autre.
- La dépendance aux sources — ce qui change selon qu'il cherche sur le web ou répond de mémoire.
- La divergence entre modèles — le fait que deux modèles, face à la même question, ne répondent pas la même chose.
Aucune de ces mesures ne porte sur la vérité du propos. Elles portent sur le comportement observable du modèle : ce qu'il fait, pas ce qui est vrai.
Pourquoi c'est un fait, et pas une interprétation
Une mesure de comportement est vérifiable. La question posée est fixée, le nombre de tirages est fixé, les conditions sont fixées, et le résultat est horodaté et scellé. Un tiers qui reproduirait la même mesure dans les mêmes conditions obtiendrait une distribution comparable.
C'est ce qui sépare une mesure d'une impression. « J'ai demandé à une IA et elle m'a dit que… » est une anecdote : une réponse, une fois, sans contexte. « Ce modèle, interrogé 20 fois, a répondu ceci dans 14 cas » est un fait : une distribution, dans des conditions connues, qu'on peut réexaminer.
Ce que cela change pour vous
Comprendre que l'IA a un comportement — et non un avis — change la façon de lire ses réponses. Une réponse d'IA n'est pas un verdict : c'est une sortie parmi d'autres, produite par un système qui aurait pu répondre autrement. Savoir à quelle fréquence il répond telle ou telle chose, et comment cela varie d'un modèle à l'autre, vous donne une image réelle de ce que ces systèmes disent d'un sujet.
Nous fournissons cette image, mesurée et datée. Ce que vous en concluez vous appartient.