KI-Benchmarks: Warum diese Rankings weniger zuverlässig sind als gedacht

Wir alle tun dasselbe

Wenn Sie ein KI-Modell auswählen möchten, schauen Sie sich die Benchmarks an. GPT-5 schlägt Gemini bei MMLU, Claude dominiert beim logischen Denken, Llama überrascht beim Programmieren. Diese Rankings leiten die Entscheidungen von Millionen Nutzern und Tausenden Unternehmen. Das Problem: Diese Bewertungen stehen auf einem deutlich fragileren Fundament als allgemein angenommen.

Eine Studie von Google Research, vorgestellt auf der AAAI-Konferenz 2026, legt den Finger auf einen grundlegenden Schwachpunkt: Die Menschen, die KI-Antworten bewerten, sind sich untereinander nicht einig. Und die meisten Benchmarks tun so, als gäbe es diese Uneinigkeit nicht.

Der Konsens, den es nicht gibt

Für den Aufbau eines Benchmarks braucht man Referenzdaten. Jemand muss entscheiden, ob die Antwort eines Modells "gut" oder "schlecht", "toxisch" oder "akzeptabel" ist. Dieser Jemand ist ein menschlicher Annotator. In der Regel werden zwischen 1 und 5 pro Frage eingesetzt.

Das Entscheidende: Wenn man mehrere Personen fragt, ob ein Kommentar toxisch ist, ob eine Antwort hilfreich ist oder ob ein Text beleidigend ist, gehen die Meinungen auseinander. Das ist normal - es handelt sich um subjektive Urteile, nicht um Mathematik. Aber Benchmarks behandeln diese Urteile wie objektive Wahrheiten.

Die Google-Studie mit dem Titel "Forest vs Tree" hat Tausende Kombinationen über vier verschiedene Datensätze hinweg getestet, darunter einen mit 107.620 Kommentaren, bewertet von 17.280 Annotatoren. Ihr Ergebnis: Mit weniger als 10 Bewertern pro Item sind die Ergebnisse nicht zuverlässig reproduzierbar. Die Standardpraxis von 1 bis 5 Annotatoren? Völlig unzureichend.

Wald oder Baum: Eine Entscheidung, die alles verändert

Die Forscher von Google haben das Problem als Kompromiss zwischen zwei Ansätzen formuliert. Mit einem festen Annotationsbudget kann man entweder viele Items mit wenigen Personen bewerten (der Wald) oder weniger Items mit mehr Bewertern (der Baum).

Das richtige Ergebnis hängt davon ab, was man messen will. Wenn man nur wissen möchte, welches Modell "insgesamt besser" ist (per Mehrheitsentscheid), funktioniert der Wald. Wenn man aber die Vielfalt menschlicher Meinungen erfassen will, braucht man den Baum - also mehr Bewerter pro Frage.

Die gute Nachricht: Durch Optimierung dieses Verhältnisses kann man mit nur 1.000 Annotationen insgesamt zuverlässige Ergebnisse erzielen. Aber ein schlechtes Verhältnis macht die Schlussfolgerungen fragil, selbst mit einem größeren Budget.

Ein Problem, das über die Uneinigkeit hinausgeht

Die Uneinigkeit der Annotatoren ist nur ein Puzzleteil. KI-Benchmarks stecken auf mehreren Ebenen in einer Glaubwürdigkeitskrise.

Gaming der Rankings. Eine Studie von Cohere, Stanford, dem MIT und dem Allen Institute hat aufgedeckt, dass Meta vor dem Launch 27 private Varianten von Llama 4 auf der LMArena-Plattform getestet und nur den besten Score veröffentlicht hat. Die für das Ranking eingereichte Version war "auf Konversationalität optimiert" und unterschied sich von der tatsächlich öffentlich zugänglichen Version.

Datenkontamination. Modelle wie GPT-5.2, Claude Opus 4.5 und Gemini 3 Flash konnten Benchmark-Code wortgetreu reproduzieren, was darauf hindeutet, dass sie während des Trainings mit diesen Tests in Berührung gekommen waren. Das ist, als würde man eine Prüfung schreiben, nachdem man Zugang zu den Antworten hatte.

Testsättigung. Die MMLU-Scores überschreiten mittlerweile die 90%-Marke. Der Stanford HAI 2025-Bericht zeigt schwindelerregende Fortschritte: GPQA stieg um 48,9 Punkte in einem Jahr, SWE-bench um 67,3 Punkte. Wenn alle 90% erreichen, verliert die Note an Aussagekraft.

Die Kluft zwischen Note und Realität

Die Zahl, die alles zusammenfasst: Bei SWE-bench Verified erreichen die besten Modelle rund 80% Erfolgsquote. Bei SWE-Lancer, einem Benchmark auf Basis realer Freelance-Projekte, fällt dieser Wert auf 26,2%. Die Diskrepanz ist enorm.

Ein weiteres aufschlussreiches Beispiel: Forscher entdeckten, dass ein Röntgenbild-Klassifikator, der kollabiierte Lungen erkennen sollte, in Wirklichkeit gelernt hatte, die auf den Bildern sichtbaren Thoraxdrainagen zu identifizieren. Als die Bilder mit Drainagen entfernt wurden, sank die Leistung um 20%. Das Modell hatte gute Bewertungen - aber aus den falschen Gründen.

Das ist das Problem der "Konstruktvalidität": Benchmarks messen nicht immer das, was sie zu messen vorgeben.

Was tun, bis bessere Benchmarks kommen?

Die Google-Studie bietet konkrete Werkzeuge. Die Forscher haben einen Simulator als Open Source veröffentlicht, mit dem sich verschiedene N/K-Verhältnisse testen lassen, bevor ein Benchmark aufgebaut wird. Ein erster Schritt zu rigoroseren Evaluierungen.

Weitere Initiativen entstehen: SWE-bench Pro mit strengeren Kriterien (die Scores fallen auf 23%), dynamische Benchmarks, die sich regelmäßig ändern, um Kontamination zu vermeiden, sowie domänenspezifische Evaluierungen statt generalistischer Rankings.

Aber bis sich das Ökosystem weiterentwickelt, gilt eine einfache Faustregel: Vertrauen Sie niemals einem einzigen Benchmark. Vergleichen Sie verschiedene Quellen, testen Sie Modelle an Ihren eigenen Anwendungsfällen, und behalten Sie im Hinterkopf, dass hinter jedem Score Menschen stehen, die sich wahrscheinlich nicht einig waren.

Benchmarks sind nicht nutzlos. Aber sie sind deutlich weniger objektiv, als wir glauben. Und genau dieses Wissen hilft uns, sie richtig einzusetzen.