J’ai l’habitude d’ouvrir mon cours de probabilités par une petite galerie d'erreurs célèbres : l'affaire Sally Clark, la crise financière de 2007, et quelques autres. Je le fais pour une raison simple : ces erreurs ne sont pas que de regrettables lacunes qu’un apprenti mathématicien peut commettre. Elles ont envoyé des innocents en prison pour certaines, et ruiné des millions de ménages pour d’autres. Et toutes ont la même racine : des événements traités comme indépendants alors qu'ils ne l'étaient pas. La rentrée littéraire vient de m'offrir une nouvelle pièce pour cette galerie ! Je précise d'emblée que je ne me prononcerai ni sur le livre concerné ni sur son auteur ; cela est l'affaire des enquêteurs. Ce qui m'intéresse, c'est de jeter une lumière sur un nombre brandi et de dénoncer un aspect important de la méthodologie sous-jacente.
De quoi s'agit-il ? Le 21 septembre, un tweet vu des millions de fois affirme que le roman “C'était ça ou mourir”, de Thélyson Orélien, a été écrit par une intelligence artificielle. L'argument exposé dans ce tweet est le suivant. Le détecteur Pangram ne se tromperait que sur un texte humain sur 24 000 environ, soit 0,0041 %. Il exhibe vingt passages du livre qui ont été signalés - ici, le problème n’est pas ce nombre. La probabilité que le détecteur se soit trompé vingt fois serait donc, toujours selon lui, de 0,0041 % multiplié vingt fois par lui-même : un nombre qui s'écrit avec 87 zéros après la virgule. Autant dire zéro. En quelques heures, sur la foi de ce nombre, un premier roman salué par la critique et déjà primé est devenu un livre suspect, et son auteur un accusé.
Le taux de 0,0041 % de faux positifs est bien fondé : Pangram l'a mesuré sur un million de textes publiés en ligne avant 2022, donc avant la diffusion de ChatGPT, et des évaluations indépendantes placent l'outil parmi les plus fiables dans cet exercice. Le problème est ailleurs. Il se situe dans une hypothèse que le tweet ne formule pas, mais sans laquelle on n'a pas le droit de multiplier ce taux par lui-même comme cela a été fait.
Cette hypothèse, c'est l'indépendance. Multiplier les probabilités, c'est faire comme si les vingt passages étaient vingt épreuves sans lien entre elles, comme vingt lancers de pièce. Or ils viennent du même livre : même auteur, même style, même éditeur.
Une image permet de comprendre pourquoi c'est un problème. Imaginez un système de reconnaissance faciale qui ne se trompe qu'une fois sur 24 000. Si vous avez le malheur de ressembler trait pour trait à une personne recherchée, il vous signalera à chaque caméra que vous croiserez. Dans ce contexte vingt caméras ne font aucunement vingt preuves, elles font seulement vingt fois la même erreur. La probabilité d'être ainsi mal identifié vingt fois n'est pas une chance sur 24 000 multipliée vingt fois par elle-même ; c'est simplement la probabilité d'avoir un sosie recherché.
Il en va de même pour les textes. Le taux de 0,0041 % est une moyenne, et une même moyenne peut cacher des situations très différentes. Prenons-en deux. Dans la première, tous les auteurs ont exactement la même petite probabilité d'être mal classés ; la “multiplicabilité” nécessaire au tweet serait alors justifiée. Dans la seconde, 0,0041% des auteurs ont un style que la machine prend systématiquement pour celui d'une IA, des sosies stylistiques en quelque sorte, tandis que les autres ne sont jamais mal classés. Dans ce cas, un livre humain verra ses vingt passages signalés avec une probabilité de 0,0041 %, exactement comme un passage unique (l’on perd toute multiplicabilité).
Ce qu'il faut retenir, c'est que ces deux situations sont les deux extrêmes, et que toutes les situations intermédiaires sont possibles. Entre elles, il y a 83 ordres de grandeur. Or un taux mesuré texte par texte ne permet pas de savoir dans laquelle on se trouve ; il faudrait pour cela tester de nombreux passages de chaque auteur. Tout ce que les données autorisent à dire, c'est que la vraie probabilité se situe quelque part entre 10^-88 (quasiment 0) et 4/100 000. Le tweet a retenu, sans le dire, la valeur la plus accablante.
La seconde situation n'est pas une vue de l'esprit. Les chiffres de Pangram montrent eux-mêmes que son taux d'erreur varie fortement d'un genre à l'autre : par exemple pour la poésie, il est près de vingt fois plus élevé que la moyenne. Ce qui veut dire que les erreurs ne tombent pas au hasard et qu’elles varient selon les styles, allant ainsi dans la direction de la situation statistique occultée par le tweet.
Cette erreur a une histoire, et elle a coûté cher. En 1999, au Royaume-Uni, Sally Clark, avocate de 35 ans, est condamnée pour le meurtre de ses deux bébés. Un pédiatre (Roy Meadow) avait estimé à une sur 73 millions la probabilité de deux morts subites du nourrisson dans une même famille, en multipliant par elle-même la probabilité d'une seule, déjà estimée à 1/8543 pour la classe sociale de Clark. Il oubliait que ces drames peuvent avoir des causes communes, génétiques ou environnementales, au sein d'un même foyer. Deux années après la condamnation, l’affaire est arrivée jusqu’aux oreilles de la Royal Statistical Society qui a dénoncé le calcul; sans effets immédiats. La condamnation n’a été annulée qu’en 2003, après plus de trois ans de prison, à la suite d’une découverte d’éléments médicaux jusque-là cachés à la défense. Sally Clark ne s'en est jamais remise et meurt en 2007. À la même époque, les agences de notation commettaient une erreur de même nature, en sous-estimant la probabilité que de nombreux emprunteurs fassent défaut en même temps. Ce qui jouera un rôle majeur dans la crise financière mondiale.
Certes, être accusé à tort de meurtre sur ses propres nourrissons et jeté en prison n’a pas le même effet que de se voir refuser la paternité de son œuvre intellectuelle, même dans le cas où il se serait avéré que le roman avait un auteur humain. Mais cela n’empêche pas de reconnaître que le tweet fait ici la même opération, avec vingt facteurs au lieu de deux.
S'y ajoute une seconde confusion, plus subtile mais tout aussi fautive. Même exact, ce nombre donnerait la probabilité d'observer ces signalements si le livre était humain. Il ne donnerait pas la probabilité que le livre soit humain, sachant qu'on a observé ces signalements. Ces deux quantités peuvent être très différentes, et les confondre porte un nom : le sophisme du procureur. L’un des plus grands mathématiciens de tous les temps, Henri Poincaré, le reprochait déjà aux calculs de Bertillon lors de la célèbre affaire Dreyfus au début du XX ème siècle.
Soyons une dernière fois clairs sur le message de ce texte : Je ne prétends pas que le roman n’ait pas été écrit par l’IA. J’affirme que le spectaculaire chiffre 10^-88 qui procurait un semblant d’implacabilité mathématique est faux. Et son mécanisme sous-jacent est dangereux, puisqu'il aurait accusé de la même façon un auteur innocent. De plus, ce nombre 10^-88, même s’il était issu d’une multiplication légitime (ce qu’il n’est pas), ne suffirait pas à lui seul pour étayer la conclusion tirée, en vertu du sophisme du procureur; il la rendrait seulement plus difficile à contester.
Prof. Mouhamadou Sy
Mathématicien
