Neuf détecteurs ont analysé les mêmes pages du roman d'Orélien

Le 21 septembre, un compte X nommé « Balance ton Claude » publie des captures d'écran des deux premiers chapitres de C'était ça ou mourir, le roman de Thélyson Orélien. Le verdict du logiciel Pangram s'affiche dessus : « 100 % IA ».

L'AFP a soumis les mêmes extraits à huit autres détecteurs. Avec InVID-WeVerify, l'outil que l'agence a cocréé, ces passages sont « très probablement écrits par un humain ». Les sept autres, dont Copyleaks et Winston AI, divergent.

Neuf machines, les mêmes pages, aucun verdict commun. C'est le fait le moins repris de cette affaire, et le seul qui dise vraiment ce qu'un détecteur établit.

Quatre jours, et un livre qui sort d'une sélection

Le compte avait 92 abonnés. Sa publication a dépassé trois millions de vues. Le même lundi, le roman décrochait le prix du roman Fnac.

Le mercredi 23, les Décrypteurs de Radio-Canada publiaient une enquête sans rapport avec l'IA : au moins cinq textes d'opinion signés par l'auteur en 2012 et 2013 reprennent des passages d'autres auteurs. Le jeudi, les Éditions du Boréal suspendaient les activités promotionnelles du livre. Le vendredi 25, l'Académie Goncourt le retirait de sa sélection.

L'auteur a écourté sa tournée française et regagné le Québec. Fin septembre, son site personnel ne répondait plus.

Comment on teste un détecteur pour de vrai

Un détecteur de texte généré ne lit pas, il compare. Il attribue un score de ressemblance avec ce qu'il a appris à reconnaître comme une production de modèle. Le chiffre qu'il rend est un pari statistique, et le pourcentage lui donne un air de certitude qu'il n'a pas.

La bonne façon de l'éprouver, c'est de lui glisser des textes dont on connaît déjà la réponse. L'idée vient de l'accusateur lui-même : « Balance ton Claude » avait soumis quatre textes de l'auteur datés de 2014, tous ressortis à 0 % d'IA, avant que franceinfo ne reprenne le même protocole.

franceinfo l'a répliqué sur deux autres écrits du même homme, un livre de 2015 et un article de 2014, donc antérieurs aux IA génératives. Pangram les a classés « 100 % écrit par un humain ». La rédaction a aussi passé quatre romans de la rentrée, signés Ananda Devi, Philippe Jaenada, Amélie Nothomb et Lucie Rico : tous humains, entre 99 et 100 %.

Le témoin négatif a donc été posé deux fois, par deux parties qui ne travaillaient pas ensemble. Un outil qui dit « humain » quand c'est humain et « machine » sur le texte litigieux, ce n'est pas une preuve, mais ce n'est pas rien.

Mille romans, et pas un en français

Reste l'objection de l'auteur, et ce n'est pas un plaidoyer. À Libération, il avance une hypothèse technique : « Je pense que le logiciel est habitué aux traditions littéraires françaises et aux auteurs classiques. Mes traditions sont haïtiennes et caribéennes. Les images, les répétitions et les rythmes sont une parole vivante, elles sont miennes. »

Autrement dit : un outil calibré sur une certaine prose lirait une esthétique orale comme une anomalie. C'est une affirmation sur les données d'entraînement, donc vérifiable. Son éditeur québécois le dit autrement dans son communiqué : les analyses portent sur un outil « dont la fiabilité est discutable et n'a, à notre connaissance, jamais été établie sur la prose romanesque francophone ».

On est allé lire l'étude que tout le monde cite pour appuyer sa fiabilité. Elle est sérieuse, signée Brian Jabarian et Alex Imas, de l'université de Chicago, en août 2025. Son corpus : 1 992 passages humains répartis en six genres. Le volet littéraire, ce sont mille extraits de romans anglais d'avant 2000, tirés du domaine public sur Project Gutenberg. Sur ce genre, le taux de faux positifs de Pangram est de zéro.

Zéro sur mille extraits, c'est excellent. Mais ce n'est pas un résultat sur du français, encore moins sur un roman contemporain : aucun des six jeux de données n'est francophone.

Ce que le fabricant publie, et ce qu'il garde pour lui

Pangram annonce un taux de faux positifs d'environ 1 sur 10 000, soit 0,01 %, et 0,003 % sur les livres. L'entreprise détaille même ce taux par registre, et par langue quand elle en distingue : anglais, espagnol, japonais, arabe. Le français n'y figure pas, et aucune ligne ne concerne le roman.

Un chiffre y mérite l'attention : la poésie, à 0,05 %, cinq fois la moyenne affichée. C'est le registre le plus proche d'une parole scandée, avec ses reprises et ses refrains. Pangram reconnaît que son outil travaille moins bien sur les poèmes, les recettes et les textes courts, là où la forme se répète.

Une étude de Stanford, en 2023, a montré que les détecteurs de cette génération classaient plus souvent comme générés par IA les textes d'auteurs dont l'anglais n'est pas la langue maternelle. Pangram n'existait pas alors, et il faut dire qu'il répond sur ce point, sinon l'article serait malhonnête : son rapport technique de février 2024, signé de ses deux fondateurs Bradley Emi et Max Spero, revendique un banc d'essai à dix domaines qui inclut explicitement « creative writing » et « books », et affirme que le classifieur n'est pas biaisé contre les locuteurs non natifs de l'anglais. C'est le contre-argument au reproche du « jamais mesuré sur du roman ». Il est publié en anglais, et de la main de l'éditeur.

Trois taux de faux positifs, un seul mesuré de l'extérieur

Le 0,01 % affiché sur le site n'est pas le chiffre que l'entreprise publie dans son dernier rapport. Le « Pangram 4 Technical Report », déposé sur arXiv fin juillet 2026 et cosigné par les deux fondateurs, annonce 0,0041 % de faux positifs — environ 1 sur 24 300 — pour un AUROC de 0,9916 et 0,3396 % de faux négatifs. Deux chiffres, un facteur deux et demi entre eux, et la même source : l'éditeur.

La seule mesure indépendante à grande échelle sur du français a été publiée le 29 septembre par Next, un média technique français. 460 articles écrits par des humains sont passés dans Pangram : 450 rendus entièrement humains, 9 majoritairement humains avec des passages signalés, et un seul faux positif. Soit 1 sur 460, environ 0,2 %. Sur 350 textes générés, l'outil en a reconnu à peu près 95 %, ce qui laisse autour de 5 % de faux négatifs.

Next pose sa limite avant de donner son résultat, et cette limite compte : « Gardez en tête un élément important de notre analyse : elle repose sur un corpus d'articles techniques. » Ce n'est donc pas plus une mesure sur du roman que les précédentes. Mais c'est la seule qui ne vienne pas du fabricant, et elle est vingt fois plus haute que le taux de son site, cinquante fois plus haute que celui de son rapport.

Vingt fois 1 sur 10 000, cela fait toujours 1 sur 460 : l'ordre de grandeur n'est pas accablant. Il dit seulement qu'entre le chiffre d'un vendeur et une vérification extérieure, il y a l'écart habituel. Et que ce qui se joue dessus, ici, c'est un livre sorti d'une sélection.

Deux accusations, deux façons de prouver

C'est là qu'il faut être précis, parce que l'Académie Goncourt ne l'a pas été. Son communiqué réunit dans une même phrase les « plagiats dont son auteur s'est rendu coupable au fil du temps et qui viennent d'être révélés », et le fait que le roman est « selon toute vraisemblance très largement le produit d'une intelligence artificielle ».

Ces deux accusations ne se démontrent pas de la même manière. Le plagiat s'établit en posant deux textes côte à côte : Radio-Canada a retrouvé la tribune source, publiée cinq jours avant celle de l'auteur dans un journal philippin, et un lecteur peut vérifier lui-même. L'auteur n'a pas répondu sur ce volet.

L'accusation d'IA repose sur un score, et huit autres outils passés sur les mêmes pages ont rendu des résultats divergents. Les réunir dans une phrase donne à la seconde la solidité de la première.

Le seuil est une décision, pas une propriété

Jabarian et Imas posent une phrase que personne n'a citée dans cette affaire. Le seuil à partir duquel on déclare un texte artificiel n'est pas une propriété du logiciel : c'est un arbitrage entre le coût de laisser passer un texte généré et celui du « risque d'accusations injustifiées ». Quand le second coûte plus cher, on relève le seuil.

Un jury ou un éditeur choisit donc ce seuil, même sans le savoir. Grasset, l'éditeur français, tranche autrement : « Ces outils censés reconnaître l'IA sont eux-mêmes des IA qui fabulent que la Bible a été écrite artificiellement. » La maison pose aussi une question que les sources ouvertes portent peu : « Est-ce parce que Thélyson est noir et haïtien ? »

L'objection tombe sur l'auteur, elle tient sur l'instrument

Reste à découper l'hypothèse de l'auteur, parce qu'elle ne résiste pas également des deux côtés.

Sur lui, elle tombe. Le bon témoin de son rythme ternaire, c'est sa propre prose d'avant les IA génératives, et elle a été soumise deux fois, par l'accusateur puis par franceinfo. Elle est ressortie humaine à chaque fois. Son style ne déclenche pas Pangram.

Un lecteur hostile arrive au même endroit sans détecteur. Manuel Cervera-Marzal, dans Hors-Série le 23 septembre, n'a pas aimé le roman et a eu le même soupçon dès le premier tiers : « Les rythmes ternaires. Les antithèses impeccablement équilibrées. » Il est ensuite allé lire le blog de l'auteur, et y a retrouvé les mêmes anaphores et les mêmes structures ternaires dans des chroniques de 2008 à 2014. Il précise lui-même qu'il ne peut plus remettre la main sur ces textes, « car son blog est désormais inaccessible ». Sa lecture corrobore ; aucun tiers ne peut la refaire.

Sur l'instrument, en revanche, l'objection tient — et mieux formulée qu'il ne l'a formulée lui-même. Une équipe de Carnegie Mellon a publié en mai 2026 un article dont le titre dit le résultat : Base Models Look Human To AI Detectors. Évalués par GPTZero et par Pangram, les textes produits par des modèles de base — ceux qui n'ont pas reçu d'entraînement aux instructions — passent pour massivement humains, là où ceux de leurs versions instruites sont signalés. Nous en avons lu le résumé, pas l'article entier. Sa conclusion : « les détecteurs actuels suivent des artefacts de l'entraînement aux instructions et du contexte local, plus qu'une notion invariante de texte généré par machine. »

Un détecteur ne mesure donc pas « une machine a écrit ça ». Il mesure « ça ressemble au registre d'un assistant instruit ». Un humain qui écrit en antithèses équilibrées est dans le voisinage de ce registre, et il n'y est pour rien.

Il suffirait, pour en savoir plus, de soumettre au même outil des pages de Jacques Roumain, de Jacques Stephen Alexis ou d'Aimé Césaire, les écrivains dont l'auteur se dit l'héritier, tous d'avant les IA génératives. Personne ne l'a fait. Nous ne l'avons pas fait non plus, et nous ne prétendrons pas savoir ce que ça donnerait.

Sébastien Gavois, le journaliste de Next qui vient de faire tourner le test sur 460 articles, a été interrogé en commentaire sur exactement cette question : un bon détecteur classe-t-il « 100 % humain » un style littéraire nouveau ou différent ? Sa réponse : « Je me garderais bien d'extrapoler… Je ne sais pas. Par contre, Pangram détecte très bien sur les articles Next, quel que soit le sujet. » Il ajoute qu'il ne sait pas comment ces outils se comporteraient face à un style ou un vocabulaire totalement différents de leurs données d'entraînement.

La personne la mieux placée pour lancer cette demi-heure de vérification refuse d'extrapoler. C'est plus solide que « personne ne l'a fait ».