À 350 mots, l'IA passe pour un romancier

Huit histoires très courtes. Quatre écrites par des romanciers primés, quatre par GPT-5. Près de mille lecteurs devaient deviner lesquelles sortaient d'une machine. Verdict : trois identifications correctes sur huit. Le hasard fait aussi bien.

Un thème imposé, huit textes, aucun nom

L'expérience vient de Mark Lawrence, auteur de fantasy et ancien chercheur, qui l'a menée sur son blog en août 2025. Le principe est simple. Un même thème imposé à tout le monde, le diable, et 350 mots pour le traiter. Côté humain, du lourd : Robin Hobb, Janny Wurts, Christian Cameron, et Lawrence lui-même. Côté machine, GPT-5, avec la même consigne.

Ensuite on mélange les textes, on retire les noms, et on demande aux lecteurs de trancher, texte par texte, puis de noter la qualité. Environ 964 personnes ont voté sur le premier récit. Assez pour que le résultat ne tienne pas au hasard d'une poignée d'avis.

Autant le dire tout de suite : on est loin d'un roman. Il s'agit de nano-fiction, le format le plus court qui existe. On y reviendra, parce que ce détail décide de tout.

Les lecteurs ont voté à pile ou face

Ils n'ont pas réussi à démêler la machine de l'humain. Sur les huit textes, les lecteurs n'en ont classé correctement que trois. Pour les cinq autres, soit ils se sont trompés, soit le vote s'est réparti à parts égales entre les deux hypothèses.

Plus gênant pour l'équipe humaine : les textes de l'IA ont été mieux notés en moyenne, et la meilleure note de tout le test est allée à un texte de GPT-5. Un des auteurs invités a joué le jeu de son côté. Il s'est trompé sur quatre de ses cinq réponses, et a même placé deux textes d'IA en tête de son classement personnel.

Ce score n'est pas isolé. Un quiz du New York Times, mené auprès de 86 000 lecteurs sur cinq registres différents, avait vu 54 % des participants préférer le passage écrit par l'IA. La tendance se confirme sur format court : le lecteur lambda ne voit plus la couture.

Ce qui trahit encore la machine

Le test ne se résume pas à un score. Dans les commentaires, les votants ont expliqué comment ils décidaient, et un signal revient plus que les autres : la métaphore qui ne tient pas debout. L'IA aligne des images qui sonnent bien prises une par une, mais qui ne s'emboîtent plus quand on les lit ensemble. Une comparaison en appelle une autre, la logique se perd en route.

Ce type d'enchaînement où une lame chuchote comme une promesse, puis danse comme une ombre affamée deux lignes plus bas. Chaque image tient seule. Bout à bout, elles ne racontent rien, elles décorent. Un auteur humain aurait gardé une seule de ces trouvailles et jeté les autres.

La romancière Rachel Neumeier, qui a décortiqué plusieurs de ces tests, en fait son détecteur numéro un. Elle lit jusqu'à la première métaphore bancale, et elle vote. Selon elle, c'est le moyen le plus rapide et le plus fiable de repérer un texte généré.

Les autres indices sont plus connus. L'abus de tirets, les adjectifs qui s'empilent, les fins vagues qui retombent sans surprise, les incises de dialogue toujours coulées dans le même moule.

Pris isolément, aucun de ces signaux ne prouve rien. Mis bout à bout, ils finissent par sentir le gabarit. Ce qui manque à la machine, résume Neumeier, c'est l'esprit, la précision du mot juste, l'humour, l'inattendu.

Le vrai garde-fou, c'est la longueur

Reste un point que Lawrence assume lui-même. À 350 mots, l'IA joue sur son meilleur terrain. Sur un texte aussi bref, un modèle n'a presque rien à tenir dans la durée.

Pas de personnage à faire évoluer sur deux cents pages, pas d'intrigue à refermer trente chapitres plus loin, pas de cohérence à garder en mémoire d'un bout à l'autre du livre. La machine sprinte bien. Le marathon, où il faut se souvenir du premier kilomètre rendu au trentième, c'est une autre affaire.

Lawrence estime qu'à l'échelle d'une novella de 20 000 mots, les professionnels l'emporteraient à tous les coups. Neumeier va dans le même sens : à longueur de roman, dit-elle, l'IA ne trompe plus personne. Ce que le test mesure tient donc en une ligne. Sur 350 mots, un lecteur ordinaire ne distingue plus les deux. À l'échelle d'un livre, l'écart réapparaît.

Il y a une dernière limite, honnête celle-là. Ces auteurs vivent du roman, pas de la nano-fiction. On les a sortis de leur discipline pour les faire courir sur un format qui n'est pas le leur. Le résultat en dit autant sur le terrain choisi que sur le niveau réel de la machine.

Le point qui dérange n'est pas le score d'aujourd'hui. C'est que ce garde-fou, la longueur, rétrécit à chaque génération de modèle. Le jour où une IA tiendra 20 000 mots sans perdre le fil, la vraie question ne sera plus de savoir qui a écrit, mais ce que ça change à notre façon de lire.