Was der Blindtest zu KI-Kurzgeschichten wirklich zeigt

1,54 gegen 0,97 und die fehlende Angabe

1,54 gegen 0,97. So hingestellt, klingt die Zahl wie das Urteil, das seit einer Woche kursiert: Leser würden Fiction bevorzugen, die eine künstliche Intelligenz geschrieben hat.

Neben diesen beiden Werten fehlt eine Angabe. Sie stehen auf einer Skala von minus drei bis plus drei, sieben Stufen, von „stimme überhaupt nicht zu“ bis „stimme voll zu“. Beide Werte sind positiv, und der Abstand beträgt 0,57 Punkte.

Die Leser mochten also beide Texte, den einen nur ein wenig mehr als den anderen. Es ist der Abstand zwischen zwei Restaurants, die mit 4,1 und 4,4 von fünf Sternen bewertet werden. Eine Schlagzeile lässt sich daraus schon bauen, aber nur, wenn man dazusagt, dass es in beiden Lokalen geschmeckt hat.

Was die Studie wirklich gemessen hat

Die Studie ist seriös, das gehört zuerst gesagt. Sydney Sears und Deena Skolnick Weisberg von der Villanova University haben sie am 5. August in Judgment and Decision Making veröffentlicht, der von Cambridge University Press herausgegebenen Fachzeitschrift. Daten und Auswertungsskripte liegen offen auf OSF.

Drei von menschlichen Autoren verfasste Kurzgeschichten, gepaart mit drei von ChatGPT 4.0 generierten Texten, alle rund tausend Wörter lang. Ein Detail, das kaum eine Übernahme erwähnt: Die Vorgaben geben Thema, Perspektive und Rahmen der jeweiligen menschlichen Vorlage vor. Man hat das Rezept verraten, bevor man das Gericht bestellt hat.

In der ersten Studie lesen 1.682 amerikanische Erwachsene, rekrutiert über Prolific, jeweils eine der sechs Geschichten. Ihnen wird eine Herkunft genannt, in der Hälfte der Fälle korrekt, in der anderen falsch. Anschließend bewerten sie wahrgenommene Qualität und Vertiefung auf der Skala von minus drei bis plus drei. Qualität: 1,54 für die KI, 0,97 für den Menschen. Vertiefung: 1,42 gegen 1,00.

Das Ergebnis, das die Schlagzeile überschreibt

Zwei weitere Studien folgen, mit 905 Teilnehmenden. Diesmal bekommt jeder beide Texte vorgelegt und soll benennen, welcher aus der Maschine stammt.

In Studie 2 liegen 167 von 424 Personen richtig, das sind 39,39 %. Der Anteilstest stuft dieses Ergebnis als signifikant unter 50 % ein: Ein Kompass, der nach Süden zeigt, wäre hilfreicher. In Studie 3 sind es 51,97 %, ein Wert, den derselbe Test nicht von 50 % unterscheidet. Der Abstract fasst beides in einem Satz zusammen: Die Teilnehmenden waren „no better than chance“.

Derselbe Text wird besser bewertet, sobald verkündet wird, ein Mensch habe ihn geschrieben, unabhängig von der tatsächlichen Herkunft. Beide Effekte sind unabhängig voneinander und werden vom selben Versuchsplan gemessen: Die Leser werten das KI-Etikett ab, und sie sind nicht in der Lage, es zu erkennen.

Der Abstract formuliert es so: KI-Programme liefern kreative Arbeit, die „at least as good as“ die menschliche eingeschätzt wird, ihnen wird aber nicht zugetraut, dazu fähig zu sein. Mindestens so gut, nicht besser.

Wer die Skala nannte, wer sie wegließ

Die sechs Übernahmen, die sich prüfen ließen, geben das Etikett-Paradox alle korrekt wieder. Was unterwegs verloren geht, ist die Maßeinheit.

Slate veröffentlicht die vier Mittelwerte und präzisiert, dass die Leser „auf einer Skala von -3 bis 3“ bewerteten.

ActuaLitté geht weiter, mit Skala, den tausend Wörtern, den Titeln der sechs Texte und dem methodischen Hinweis zu den Vorgaben. Auch The Decoder nennt die Graduierung ausdrücklich.

Futura veröffentlicht dieselben vier Mittelwerte und nennt die Skala kein einziges Mal. Die Überschrift ist dabei korrekt, sie trägt das Paradox und behauptet keine Präferenz. Der Verlust passiert also im Fließtext, während die Schlagzeile hält, was sie verspricht.

Eine Zahl ohne ihre Einheit ist wie eine Adresse ohne Stadtnamen. Sie existiert, sie ist korrekt geschrieben, sie führt nirgendwohin.

Die Pressemitteilung titelt schärfer als der eigene Abstract

Die Pressemitteilung, die die Welle auslöste, erschien am 4. August auf EurekAlert, gezeichnet von Cambridge University Press. Ihr Titel: „People prefer stories written by AI“. Der Verlag, der den Artikel herausgibt, titelt damit schärfer als der Abstract, den er einen Tag später online stellt.

Diese Mitteilung nennt an keiner Stelle eine Effektgröße. Weder 1,54 noch 0,97, noch die Skala. Sie verkündet, dass die generierten Texte bessere Noten erhielten, ohne je zu sagen, um wie viel: ein Zehntelpunkt oder drei, das bleibt offen.

Eine Zahl, die verrät, wer wo gelesen hat

Ein aufschlussreiches Detail bleibt. Die Pressemitteilung schreibt, die Teilnehmenden hätten die Urheberschaft in 39,93 % der Fälle richtig erkannt. Der Artikel selbst druckt 39,39 %, und die Rechnung bestätigt diesen Wert: 167 richtige Antworten von 424. Zwei vertauschte Ziffern.

An der Schlussfolgerung ändert das nichts, beide Werte liegen unter dem Zufallsniveau. Aber ein solcher Fehler funktioniert wie ein Abschreibfehler in einer Handschrift: Er verrät, wer von wem abgeschrieben hat. earth.com übernimmt 39,93 % wortgleich. ActuaLitté schreibt 39,39 %, eine Zahl, die nur im Originalartikel vorkommt.

Ehrlich gesagt: Diese Rubrik hätte den Fehler beinahe selbst übernommen. Die Recherchenotiz, die diese Ausgabe vorbereitet hat, führte 39,93 % in der Annahme, die Studie zu zitieren, dabei gab sie die Pressemitteilung wieder. Der Unterschied fiel erst beim erneuten Öffnen des PDFs auf. Der Mechanismus verschont niemanden, auch nicht eine Rubrik über verzerrte Zahlen.

Der Rahmen, den die Autorinnen selbst abstecken

Sechs Texte von rund tausend Wörtern, realistische Fiction, eine ausschließlich amerikanische Stichprobe, generierte Fassungen aus dem Zeitraum November 2023 bis Dezember 2024. Der Abschnitt zu den Grenzen der Studie beginnt genau damit: Die Geschichten seien „very brief“ gewesen, und längere Werke, „such as entire novels“, könnten ein anderes Ergebnis liefern, weil die Maschine möglicherweise weniger fähig ist, Figuren über die Distanz zu tragen.

Die Forscherinnen weisen zudem darauf hin, dass ihr Maß für wahrgenommene Qualität zuvor nie validiert wurde. Sechs Kurzgeschichten sind ein Degustationsteller, nicht die ganze Speisekarte.

Ein Vorläufer existiert bereits: KI schlug den menschlichen Durchschnitt bei Kreativität, ohne die Kreativen selbst zu schlagen.

Was am Ende zählt, ist interessanter als die Schlagzeile

Die Erklärung der Forscherinnen ist nicht literarischer Wert, sondern Flüssigkeit. Die Leser mögen diese Texte, weil sie sie „easier to read or understand“ finden. Und die Art, wie ChatGPT eine Erzählung baut, indem es Millionen Beispiele mittelt, könnte „smooth out the rough edges“ menschlichen Schreibens, so wie ein aus mehreren echten Gesichtern zusammengesetztes Gesicht harmonischer wirkt als jedes einzelne von ihnen.

Die generierten Fassungen benennen ihr Thema, statt es erraten zu lassen. Das ist bequemer, und genau das verweigert sich eine gute Kurzgeschichte.

Weisberg lässt in der Pressemitteilung noch ein letztes Signal fallen: Wer mit KI vertraut ist, erkennt ihre Texte besser, gestützt auf Marker wie den Gedankenstrich oder Wendungen vom Typ „it's not just X, it's Y“. Diesem Gedankenstrich hatten wir im April bereits einen eigenen Artikel gewidmet. Was die Studie hinzufügt: Dieses Wissen lässt sich lernen, und nicht durch die Lektüre vieler Romane. Die literarische Expertise der Teilnehmenden ändert daran nichts.