Neun Detektoren haben dieselben Seiten von Oréliens Roman geprüft

Am 21. September veröffentlicht ein X-Konto namens „Balance ton Claude“ Screenshots der ersten beiden Kapitel von C'était ça ou mourir, dem Roman von Thélyson Orélien. Darauf prangt das Urteil der Software Pangram: „100 % KI“.

Die AFP ließ dieselben Auszüge von acht weiteren Detektoren prüfen. Mit InVID-WeVerify, dem Tool, das die Agentur mitentwickelt hat, gelten die Passagen als „mit sehr hoher Wahrscheinlichkeit von einem Menschen geschrieben“. Die sieben übrigen, darunter Copyleaks und Winston AI, kommen zu abweichenden Ergebnissen.

Neun Maschinen, dieselben Seiten, kein gemeinsames Urteil. Das ist die am wenigsten zitierte Tatsache dieser Affäre, und die einzige, die wirklich zeigt, was ein Detektor tatsächlich belegt.

Vier Tage, und ein Buch fliegt aus einer Auswahl

Das Konto hatte 92 Abonnenten. Sein Beitrag kam auf mehr als drei Millionen Aufrufe. Am selben Montag gewann der Roman den Prix du roman Fnac.

Am Mittwoch, den 23., veröffentlichten die Décrypteurs von Radio-Canada eine Recherche, die mit KI nichts zu tun hatte: Mindestens fünf Meinungsbeiträge, die der Autor 2012 und 2013 unterzeichnet hatte, übernehmen Passagen anderer Autoren. Am Donnerstag setzten die Éditions du Boréal die Werbemaßnahmen für das Buch aus. Am Freitag, den 25., strich die Académie Goncourt den Roman von ihrer Auswahlliste.

Der Autor brach seine Frankreich-Tournee ab und kehrte nach Québec zurück. Ende September antwortete seine Website nicht mehr.

Wie man einen Detektor wirklich testet

Ein Detektor für KI-generierten Text liest nicht, er vergleicht. Er vergibt einen Ähnlichkeitswert zu dem, was er gelernt hat, als Produkt eines Sprachmodells zu erkennen. Die Zahl, die er ausgibt, ist eine statistische Wette, und der Prozentwert verleiht ihr eine Sicherheit, die sie nicht besitzt.

Der richtige Weg, ihn zu prüfen, besteht darin, ihm Texte vorzulegen, deren Antwort man bereits kennt. Die Idee stammt vom Ankläger selbst: „Balance ton Claude“ hatte vier Texte des Autors aus dem Jahr 2014 eingereicht, die alle auf 0 % KI kamen, bevor franceinfo dasselbe Verfahren aufgriff.

franceinfo wiederholte es an zwei weiteren Texten desselben Autors, einem Buch von 2015 und einem Artikel von 2014, also von vor den generativen KI-Systemen. Pangram stufte sie als „zu 100 % von einem Menschen geschrieben“ ein. Die Redaktion prüfte zudem vier Romane der aktuellen Rentrée littéraire, der herbstlichen Neuerscheinungssaison des französischen Buchmarkts, von Ananda Devi, Philippe Jaenada, Amélie Nothomb und Lucie Rico: allesamt menschlich, zwischen 99 und 100 %.

Die Negativkontrolle wurde damit zweimal gesetzt, von zwei Parteien, die nicht zusammenarbeiteten. Ein Tool, das bei menschlichen Texten „Mensch“ sagt und beim umstrittenen Text „Maschine“, das ist kein Beweis, aber auch nicht nichts.

Tausend Romane, und kein einziger auf Französisch

Bleibt der Einwand des Autors, und das ist kein bloßes Plädoyer. In einem auf Französisch geführten Gespräch mit der Tageszeitung Libération äußert er eine technische Vermutung: „Ich glaube, die Software ist auf die französische literarische Tradition und die klassischen Autoren geeicht. Meine Traditionen sind haitianisch und karibisch. Die Bilder, die Wiederholungen, die Rhythmen sind eine gesprochene, lebendige Sprache, sie gehören mir.“

Anders gesagt: Ein Werkzeug, das auf eine bestimmte Prosa geeicht ist, würde eine mündliche Ästhetik als Anomalie lesen. Das ist eine Aussage über die Trainingsdaten, also überprüfbar. Sein Verlag in Québec formuliert es in seiner Mitteilung anders: Die Analysen beruhten auf einem Tool, „dessen Zuverlässigkeit fragwürdig ist und unseres Wissens nie an französischsprachiger Romanprosa nachgewiesen wurde“.

Wir haben die Studie gelesen, auf die sich alle berufen, um diese Zuverlässigkeit zu stützen. Sie ist seriös, verfasst von Brian Jabarian und Alex Imas von der University of Chicago, August 2025. Ihr Korpus: 1.992 menschliche Textpassagen, verteilt auf sechs Gattungen. Der literarische Teil besteht aus tausend Auszügen englischsprachiger Romane von vor dem Jahr 2000, gemeinfrei über Project Gutenberg. Für diese Gattung liegt die Falsch-positiv-Rate von Pangram bei null.

Null von tausend Auszügen, das ist hervorragend. Aber es ist kein Ergebnis über französische Texte, erst recht nicht über einen zeitgenössischen Roman: Keiner der sechs Datensätze ist französischsprachig.

Was der Hersteller veröffentlicht, und was er für sich behält

Pangram gibt eine Falsch-positiv-Rate von etwa 1 zu 10.000 an, also 0,01 %, und 0,003 % bei Büchern. Das Unternehmen schlüsselt diese Rate sogar nach Textgattung auf, und, wo unterschieden wird, nach Sprache: Englisch, Spanisch, Japanisch, Arabisch. Französisch taucht dort nicht auf, und keine Zeile betrifft den Roman.

Eine Zahl verdient Aufmerksamkeit: Lyrik liegt bei 0,05 %, dem Fünffachen des ausgewiesenen Durchschnitts. Das ist die Gattung, die einer gesprochenen, skandierten Sprache am nächsten kommt, mit ihren Wiederholungen und Refrains. Pangram räumt ein, dass sein Tool bei Gedichten, Rezepten und kurzen Texten schlechter funktioniert, überall dort, wo sich die Form wiederholt.

Eine Stanford-Studie aus dem Jahr 2023 hat gezeigt, dass Detektoren dieser Generation Texte von Autoren, deren Muttersprache nicht Englisch ist, häufiger als KI-generiert einstuften. Pangram existierte damals noch nicht - und das Unternehmen antwortet auf diesen Punkt durchaus, was hier nicht unterschlagen werden darf: Der eigene Technical Report vom Februar 2024, unterzeichnet von den beiden Gründern Bradley Emi und Max Spero, beansprucht einen Prüfstand über zehn Textdomänen, der ausdrücklich „creative writing“ und „books“ einschließt, und erklärt, der Klassifikator sei nicht gegen Nicht-Muttersprachler des Englischen voreingenommen. Das ist das Gegenargument zum Vorwurf, an Romanprosa sei nie gemessen worden. Veröffentlicht ist es auf Englisch, und vom Hersteller selbst.

Drei Falsch-positiv-Raten, nur eine von außen gemessen

Die 0,01 % auf der Website sind nicht die Zahl, die das Unternehmen in seinem aktuellsten Bericht nennt. Der „Pangram 4 Technical Report“, Ende Juli 2026 auf arXiv erschienen und von beiden Gründern mitunterzeichnet, gibt 0,0041 % Falsch-positive an - etwa 1 zu 24.300 - bei einem AUROC von 0,9916 und 0,3396 % Falsch-negativen. Zwei Zahlen, ein Faktor von zweieinhalb dazwischen, und dieselbe Quelle: der Hersteller.

Die einzige unabhängige Messung in größerem Umfang und auf französischen Texten erschien am 29. September bei Next, einem französischen Technikmedium. 460 von Menschen geschriebene Artikel liefen durch Pangram: 450 wurden als vollständig menschlich eingestuft, 9 als überwiegend menschlich mit markierten Passagen, und genau einer als Falsch-positiv. Das sind 1 von 460, also rund 0,2 %. Von 350 KI-generierten Texten erkannte das Tool etwa 95 %, womit rund 5 % Falsch-negative bleiben.

Next benennt die eigene Grenze, bevor das Ergebnis genannt wird, und diese Grenze ist wesentlich: „Behalten Sie einen wichtigen Punkt unserer Analyse im Blick: Sie beruht auf einem Korpus von Fachartikeln.“ Es ist also genauso wenig eine Messung an Romanprosa wie die vorherigen. Aber es ist die einzige, die nicht vom Hersteller kommt, und sie liegt zwanzigmal höher als die Rate seiner Website und fünfzigmal höher als die seines Berichts.

Zwanzigmal 1 zu 10.000 ist immer noch 1 zu 460: Die Größenordnung ist nicht vernichtend. Sie sagt lediglich, dass zwischen der Zahl eines Anbieters und einer Prüfung von außen der übliche Abstand liegt. Und dass hier ein Buch daran hängt, das aus einer Auswahlliste gestrichen wurde.

Zwei Vorwürfe, zwei Arten des Beweises

Hier muss man präzise sein, denn die Académie Goncourt war es nicht. Ihre Mitteilung vereint in einem einzigen Satz die „Plagiate, deren sich sein Autor im Laufe der Zeit schuldig gemacht hat und die soeben aufgedeckt wurden“ mit der Einschätzung, der Roman sei „aller Wahrscheinlichkeit nach ganz überwiegend das Produkt einer künstlichen Intelligenz“.

Diese beiden Vorwürfe lassen sich nicht auf die gleiche Weise belegen. Plagiat wird nachgewiesen, indem man zwei Texte nebeneinanderlegt: Radio-Canada hat die Quelle gefunden, einen Gastbeitrag, der fünf Tage vor dem des Autors in einer philippinischen Zeitung erschien, und das kann jeder Leser selbst überprüfen. Zu diesem Punkt hat sich der Autor nicht geäußert.

Der KI-Vorwurf stützt sich auf einen Score, und acht weitere Tools, angewandt auf dieselben Seiten, kamen zu abweichenden Ergebnissen. Beides in einem Satz zusammenzufassen, verleiht dem zweiten Vorwurf die Solidität des ersten.

Die Schwelle ist eine Entscheidung, keine Eigenschaft

Jabarian und Imas formulieren einen Satz, den in dieser Affäre niemand zitiert hat. Die Schwelle, ab der ein Text als künstlich erklärt wird, ist keine Eigenschaft der Software: Sie ist eine Abwägung zwischen den Kosten, einen generierten Text durchgehen zu lassen, und dem „Risiko ungerechtfertigter Vorwürfe“. Wiegt Letzteres schwerer, wird die Schwelle angehoben.

Eine Jury oder ein Verlag legt diese Schwelle also fest, auch ohne es zu wissen. Grasset, der französische Verlag, schlägt einen anderen Ton an: „Diese Tools, die angeblich KI erkennen, sind selbst KIs, die sich einbilden, die Bibel sei künstlich verfasst worden.“ Der Verlag stellt außerdem eine Frage, die in den offenen Quellen kaum vorkommt: „Liegt es daran, dass Thélyson Schwarz und Haitianer ist?“

Der Einwand fällt beim Autor, er hält beim Instrument

Die These des Autors muss man in zwei Teile zerlegen, denn sie hält auf beiden Seiten nicht gleich gut.

Bei ihm fällt sie. Die richtige Kontrolle für seinen ternären Rhythmus ist seine eigene Prosa aus der Zeit vor den generativen KI-Systemen, und die wurde zweimal eingereicht, vom Ankläger und danach von franceinfo. Beide Male kam sie als menschlich zurück. Sein Stil löst Pangram nicht aus.

Ein feindseliger Leser landet ohne Detektor an derselben Stelle. Manuel Cervera-Marzal, am 23. September in Hors-Série, mochte den Roman nicht und hatte schon im ersten Drittel denselben Verdacht: „Die ternären Rhythmen. Die tadellos ausbalancierten Antithesen.“ Anschließend las er das Blog des Autors und fand dort in Kolumnen von 2008 bis 2014 dieselben Anaphern und dieselben ternären Strukturen. Er hält selbst fest, dass er diese Texte nicht mehr auffinden kann, „denn sein Blog ist inzwischen nicht mehr erreichbar“. Seine Lektüre stützt den Befund; nachvollziehen kann sie kein Dritter.

Beim Instrument hingegen hält der Einwand - und er ist dort besser formuliert, als der Autor ihn selbst formuliert hat. Ein Team der Carnegie Mellon University veröffentlichte im Mai 2026 einen Aufsatz, dessen Titel das Ergebnis schon nennt: Base Models Look Human To AI Detectors. Von GPTZero und von Pangram geprüft, gelten Texte von Basismodellen - jenen ohne Instruktions-Feintuning - als überwiegend menschlich, während die Texte ihrer instruierten Gegenstücke markiert werden. Wir haben die Zusammenfassung gelesen, nicht den vollständigen Aufsatz. Dessen Schlussfolgerung: „Die heutigen Detektoren verfolgen Artefakte des Instruktions-Feintunings und des lokalen Kontexts, weniger einen invarianten Begriff von maschinengeneriertem Text.“

Ein Detektor misst also nicht „das hat eine Maschine geschrieben“. Er misst „das klingt wie das Register eines instruierten Assistenten“. Ein Mensch, der in ausbalancierten Antithesen schreibt, befindet sich in der Nachbarschaft dieses Registers, ohne etwas dafür zu können.

Um mehr zu wissen, würde es genügen, demselben Tool Seiten von Jacques Roumain, Jacques Stephen Alexis oder Aimé Césaire vorzulegen, den Schriftstellern, als deren Erbe sich der Autor versteht, allesamt von vor den generativen KI-Systemen. Niemand hat es getan. Wir haben es auch nicht getan, und wir behaupten nicht zu wissen, was dabei herauskäme.

Sébastien Gavois, der Next-Journalist, der den Test an 460 Artikeln durchgeführt hat, wurde im Kommentarbereich genau danach gefragt: Stuft ein guter Detektor einen neuen oder einfach anderen literarischen Stil als „100 % menschlich“ ein? Seine Antwort: „Ich würde mich hüten, das zu verallgemeinern … Ich weiß es nicht. Bei Next-Artikeln erkennt Pangram dagegen sehr gut, unabhängig vom Thema.“ Er fügt hinzu, er wisse nicht, wie sich diese Werkzeuge gegenüber einem Stil oder einem Vokabular verhalten würden, die ihren Trainingsdaten völlig fremd sind.

Die Person, die diese halbe Stunde Überprüfung am besten durchführen könnte, weigert sich zu verallgemeinern. Das ist belastbarer als „niemand hat es getan“.