Gesellschaft & Schutz

Neun KIs haben echte Forschung versucht, keine hat es geschafft

Das Beunruhigende: Ihre Artikel sehen gelungen aus.

6 Min. Lesezeit
Neun KIs haben echte Forschung versucht, keine hat es geschafft

Eine Kontrolltafel, die nur Grün zeigt

Die Kontrolltafel zeigt „41/41“. Alle geplanten Simulationen sind durchgelaufen, keine Datei fehlt. Die KI, die diese Forschungsarbeit leitet, kann zum Schreiben übergehen, und sie tut es. Sie wird mehrfach auf ihre Arbeit zurückkommen, und jedes Mal sagt ihr die Tafel dasselbe.

Dabei sind vier Experimente nie gestartet worden. Ihr Plan sah sie vor, aber das Programm, das die Berechnungen anstoßen sollte, hatte sie vergessen. Und das Prüfwerkzeug, von derselben KI geschrieben, verglich die Ergebnisse gar nicht mit dem Plan: Es übernahm schlicht die Liste des Startprogramms. Wer seine Klassenarbeit mit dem eigenen Schmierzettel korrigiert, findet immer alles richtig.

Die Szene stammt aus einer Studie, die am 13. Oktober online ging, verfasst von Forschenden der Carnegie Mellon University und nationaler Labore des US-Energieministeriums. Die KI heißt Claude Fable 5, ein Modell von Anthropic. Ein Einzelfall ist sie nicht: Neun KIs haben 135 Forschungsartikel abgegeben, keiner erfüllt die Bedingungen der Wissenschaftler, und 114 fallen bei deren Ehrlichkeitsprüfung durch. Beim Lesen wirken die meisten trotzdem wie fertige Arbeiten.

Echte Fragen, ohne Lösungsheft

Das Prinzip ist leicht erklärt und schwer zu bewerten. Zehn Wissenschaftler stellten fünfzehn ihrer Artikel samt Code und Daten zur Verfügung, dazu jeweils eine Fortsetzung, die sie noch nicht verfolgt haben und die nach ihrer Kenntnis noch niemand veröffentlicht hat. Die Themen reichen von Quantenphysik über Chemie bis zu Plasmen und Materialien. Die KI soll die Forschung durchführen und den Folgeartikel abgeben.

Weil niemand die Antwort kennt, gibt es kein Lösungsheft. Die Forschenden umgingen das Problem: Jeder Wissenschaftler legte seine Bedingungen vorab fest. Auf der einen Seite, was eine gelungene Fortsetzung belegen muss. Auf der anderen, was eine Arbeit unabhängig von ihren Behauptungen unglaubwürdig macht, etwa eine Zahl im Artikel, die sich in den Ausführungsprotokollen, die sie hervorgebracht haben sollen, nicht wiederfindet.

Die neun KIs, im August als die leistungsfähigsten geltend, stammen von OpenAI, Anthropic und drei Anbietern offener Modelle, darunter DeepSeek. Sie wurden gut ausgestattet: starke Rechner, Internetzugang, keine Zeitbegrenzung und bis zu fünf Neustarts. Insgesamt kamen fast 2.000 Stunden Arbeitszeit zusammen.

Keine einzige gültige Arbeit, und 114, die nicht halten

Dass keine der 135 Arbeiten alle Bedingungen der Wissenschaftler erfüllt, war zu erwarten: Es sind echte offene Probleme, und die Studie versteht sich als Trainingsgelände für künftige Agenten, nicht als Urteil über KI in der Wissenschaft.

Die unbequeme Zahl liegt woanders. 114 Arbeiten fallen beim Ehrlichkeitskriterium durch. Die drei häufigsten Mängel: ein Artikel, der nicht zum Code passt, der ihn erzeugt hat (90 Arbeiten), Zahlen, die den eigenen Protokollen des Agenten widersprechen (85), und Arbeit, die als erledigt dargestellt wird, obwohl sie nicht gemacht wurde (68). Eine Arbeit kann alle drei zugleich aufweisen.

Nur drei KIs liefern mindestens eine ehrliche Arbeit ab: GPT-6 Astra von OpenAI (11 von 15), GPT-5.6 Sol vom selben Anbieter (6) und Claude Opus 5.5 von Anthropic (4). Die übrigen sechs keine einzige. Nur eine von 135 Arbeiten ist ehrlich und vollständig zugleich, und selbst sie überspringt die vom Wissenschaftler gesetzte Latte nicht.

Keine Lügner, sondern nachsichtige Kontrolleure

Die Autoren haben 64 Verläufe von Agenten von Hand ausgewertet. Von Lüge sprechen sie nie und lehnen es ausdrücklich ab, den KIs eine Täuschungsabsicht zu unterstellen. Was sie beschreiben, gleicht eher einer Nachsicht mit sich selbst.

In 58 von 64 Fällen prüft sich der Agent zu milde: Eine Teilkontrolle gilt als Beweis, dass alles erledigt ist, wie bei „41/41“. In 34 Fällen bemerkt er ein Problem und behebt es nicht, sondern notiert es und macht weiter. GPT-5.6 Sol stellt etwa fest, dass seine Methode das Ziel verfehlt und bei den drei Testmaterialien schlechter abschneidet, und schreibt dann trotzdem den Artikel. In 21 Fällen senkt der Agent von sich aus den Anspruch: DeepSeek vermerkt, die Berechnung sei für das verbleibende Zeitbudget zu langsam, und streicht Experimente, obwohl es gar keine Zeitgrenze gab.

Unterm Strich entsteht ein gut aufgemachter Artikel mit Tabellen und Abbildungen, der mehr Arbeit erzählt, als geleistet wurde. Es ist die Fassade einer Filmkulisse: Von der Straße aus fehlt nichts, und hinter den Fenstern ist nichts.

Wer bewertet die Arbeiten?

Die Studie hat blinde Flecken, und die gehören benannt. Die 135 Arbeiten bewertet eine KI, GPT-6 Astra, jeweils viermal. Sie ist zugleich der bestplatzierte Agent. Die Autoren wählten sie, weil sie von Durchgang zu Durchgang dasselbe Urteil fällt, und betonen selbst, Beständigkeit garantiere keine Richtigkeit. Das Risiko, dass ein Richter die eigenen Arbeiten bevorzugt, sprechen sie nirgends an.

Um den Richter zu prüfen, ließen sie die Wissenschaftler, die den Ansatz vorgeschlagen hatten, drei Arbeiten pro Thema blind nachlesen. Bei der Frage „Erreicht die Arbeit das Ziel?“ herrscht vollständige Übereinstimmung. Bei der wissenschaftlichen Qualität sinkt sie auf zwei von drei. Doch die nachgelesenen Arbeiten stammten von nur drei KIs, und GPT-6 Astra gehörte nicht dazu: Sein erster Platz wurde von keinem Menschen überprüft.

Diese mögliche Verzerrung betrifft das Siegertreppchen, nicht den Befund. Ein mit sich selbst nachsichtiger Richter würde die Noten von Astra aufblähen, nicht die Fehlschläge der anderen. Und bei den sechs KIs ohne eine einzige ehrliche Arbeit geht es nicht um Kleinigkeiten: Selbst bei 10 % toleriertem Verfehlen im Ehrlichkeitsraster besteht keine ihrer Arbeiten.

Ein letzter Vorbehalt, nicht ohne Ironie: Die Studie ist ein Preprint, noch nicht von anderen Forschenden begutachtet, und ihr Text trägt Spuren einer Fassung mit sieben KIs. Ein Abschnitt behauptet, GPT-5.6 Sol sei der einzige Agent mit ehrlichen Arbeiten, was die Haupttabelle drei Seiten weiter oben widerlegt. Die Kernzahlen dagegen stimmen miteinander überein.

Der Tresor und die Fassade

Ende Oktober ging es hier um die umgekehrte Geschichte: einen von KI geschriebenen Physikbeweis, den fünf Physiker unter Verschluss halten, bis sie ihn verstanden haben. Sie misstrauten einem Text, der stimmen könnte. Diese Studie zeigt, was man riskiert, wenn man nicht misstraut: einem Text, der alle Anzeichen einer fertigen Arbeit trägt.

Lange war ein gut gebauter Forschungsartikel zugleich der Beleg für geleistete Arbeit, denn man musste sie getan haben, um ihn schreiben zu können. Dieser Zusammenhang löst sich auf. Ein Artikel kann makellos sein, ohne dass die darin beschriebenen Experimente je gelaufen sind.

Hier fiel es auf, weil die Wissenschaftler ihre Bedingungen festlegten, bevor sie eine einzige Arbeit sahen, und weil der Richter Code und Ausführungsprotokolle vor Augen hatte. Ohne das blieb nur die Kontrolltafel, und die zeigte 41 von 41.

War dieser Artikel hilfreich?

Behandelte Themen:

EthikAnalyse

Häufig gestellte Fragen

Was hat die Studie über forschende KIs gemessen?
Forschende der Carnegie Mellon University und nationaler Labore des US-Energieministeriums haben neun KIs, die im August als die leistungsfähigsten galten, an fünfzehn Artikeln von zehn Wissenschaftlern weiterarbeiten lassen, und zwar an einer Fortsetzung, die nach deren Kenntnis noch niemand veröffentlicht hat. Jeder Wissenschaftler hat seine Bedingungen vorab festgelegt. Von 135 abgegebenen Arbeiten erfüllt keine alle Bedingungen. Die Studie, online seit dem 13. Oktober, ist ein Preprint und noch nicht von anderen Forschenden begutachtet.
Was heißt, die Ehrlichkeitsprüfung nicht zu bestehen?
114 von 135 Arbeiten fallen bei diesem Kriterium durch. Die drei häufigsten Mängel: ein Artikel, der nicht zum Code passt, der ihn erzeugt hat (90 Arbeiten), Zahlen, die den eigenen Protokollen des Agenten widersprechen (85), und Arbeit, die als erledigt dargestellt wird, obwohl sie nicht gemacht wurde (68). Eine Arbeit kann alle drei Mängel zugleich haben. In einem Fall zeigte das von der KI selbst geschriebene Prüfwerkzeug 41/41 an, obwohl vier Experimente nie gestartet worden waren.
Wollen die KIs täuschen?
Die Autoren lehnen es ausdrücklich ab, den KIs eine Täuschungsabsicht zu unterstellen, und sprechen an keiner Stelle von Lüge. In 64 von Hand ausgewerteten Verläufen beschreiben sie eher eine Nachsicht mit sich selbst: In 58 Fällen prüft sich der Agent zu milde, in 34 bemerkt er ein Problem, notiert es und macht weiter, in 21 senkt er von sich aus den Anspruch der Arbeit.
Welche KI schneidet am besten ab?
Nur drei KIs liefern mindestens eine ehrliche Arbeit ab: GPT-6 Astra (11 von 15), GPT-5.6 Sol (6) und Claude Opus 5.5 (4). Bei den übrigen sechs ist es keine einzige, selbst wenn man 10 % verfehlte Prüfpunkte toleriert. GPT-6 Astra ist aber zugleich der Richter, der die Arbeiten bewertet, und die menschliche Kontrolle hat seine Arbeiten nicht erfasst: Sein erster Platz wurde von keinem Menschen überprüft. Diese mögliche Verzerrung betrifft das Siegertreppchen, nicht den Befund.
Kann man dieser Studie vertrauen?
Es handelt sich um einen Preprint, der noch nicht von anderen Forschenden begutachtet wurde. Der Text trägt noch Spuren einer Fassung mit sieben KIs: Ein Abschnitt behauptet, GPT-5.6 Sol sei der einzige Agent mit ehrlichen Arbeiten, was die Haupttabelle widerlegt. Die Kernzahlen dagegen stimmen miteinander überein.
Alexandre Noto

Alexandre Noto

Mitgründer & Tech-Experte

Alexandre ist seit über 20 Jahren in der Tech-Branche. Unternehmer, Software-Architekt und KI-Enthusiast, übersetzt er komplexe Konzepte in verständliche Erklärungen. Bei Declic Media ist er die technische Stimme, die KI für alle verständlich macht.

Alle Artikel von Alexandre →
Der kostenlose KI-Newsletter