KI soll Anthropics Forschung doppelt so schnell machen, so der Prüfer

Die Schwelle, die den Alarm auslöst

Anthropic hat sich eine Regel gegeben, die sich leicht erklären lässt: Verdoppelt die eigene KI das Tempo der eigenen Forschung, verschärft das Unternehmen die Sicherheit seiner Modelle. „Verdoppeln“ heißt hier: in einem Jahr schaffen, wofür man früher zwei brauchte, als KI den Forschern noch nicht half.

METR, eine gemeinnützige Organisation, die Risiken von KI-Modellen bewertet, hat elf Wochen bei Anthropic verbracht, um den Stand zu messen. Ihr am 5. November veröffentlichtes Ergebnis: Anthropic verbessert seine Modelle wahrscheinlich etwa doppelt so schnell wie zuvor, mit einer breiten Spanne von 1,3 bis 3.

Der öffentliche Bericht von Anthropic sprach im August von einer Beschleunigung „um weniger als den Faktor 2“. Kombiniert man zwei Zahlen aus der privaten Fassung dieses Berichts, kommt METR auf 1,97. Anthropic schreibt diese Zahl nirgends, „weniger als 2“ stimmte also dem Wortlaut nach. METR schlägt lediglich eine treffendere Formulierung vor: „um die 2“.

Offen bleibt, was die Öffentlichkeit nicht nachprüfen kann. Laut METR hat Anthropic den Großteil der Belege geschwärzt, die der Prüfer für die aussagekräftigsten hielt.

Ein Alarm, keine Katastrophe

Die Regel steht in Anthropics Sicherheitsrichtlinie („Responsible Scaling Policy“, Version 3.4, seit dem 8. Juli in Kraft). Die Schwelle hat zwei Bedingungen: ein Fortschrittstempo, das sich verdoppelt, und die Plausibilität, dass diese Verdopplung großteils von der Automatisierung der Forschung kommt. Die Ursache muss nicht bewiesen, nur plausibel sein.

Anthropic versteht die Schwelle als Frühwarnung, nicht als Beleg, dass eine Gefahr eingetreten ist. Was das Unternehmen wirklich fürchtet, ist ein Dammbruch: KI, die KI verbessert und die Modelle binnen eines Jahres explosionsartig voranbringt. Die rote Linie am Tachometer soll vor der Kurve bremsen lassen, nicht den Unfall feststellen.

Der Bericht vom August beschreibt die Lage am 15. Juli. METR hat ihn bei seiner Untersuchung vom 12. August bis 29. Oktober gegengelesen, mit zweieinhalb Vollzeitstellen.

Drei Sätze, privat vorsichtiger

Die 1,97 ist kein Einzelfall. METR stellt drei Passagen des öffentlichen Berichts ihren privaten Entsprechungen gegenüber, und der Unterschied geht jedes Mal in dieselbe Richtung.

• Die Beschleunigung: öffentlich „weniger als 2“, privat implizit 1,97. METRs geschwärzte Analyse ergibt je nach Methode 1,3 bis 2,8.
• Der Anteil der KI: öffentlich geht die Forschung dank KI deutlich schneller voran, „aber noch nicht um den Faktor 2“. Privat liegt die zentrale Schätzung knapp unter 2, nach Anthropics Ansicht eher zu hoch gegriffen, wobei das Unternehmen es dennoch für plausibel hält, dass der Faktor 2 überschritten wird.
• Das neueste Modell: Öffentlich ist von einem bescheidenen Gewinn bei einem internen Modell namens Model 2 die Rede, ohne zu sagen, dass Anthropic sich von den Nachfolgern mehr erhofft hatte. Sie legten ungefähr so viel zu wie der Sprung der Generation davor.

Der öffentliche Bericht war nicht ohne Vorbehalt: Er hält selbst fest, dass seine Schlussfolgerung unsicher bleibt. METR wirft ihm vor, beim Anteil der KI mehr Sicherheit zu zeigen als die private Fassung.

Schwelle erreicht? METR sagt es nicht

The Decoder titelte, Anthropic habe seine Schwelle womöglich schon im Juli erreicht. Ein Satz von METR relativiert das: Die eigenen Forscher und die beteiligten Forscher von Anthropic neigen dazu, dass die Schwelle am 15. Juli nicht erreicht war. METR hält es lediglich für plausibel, dass sie es doch war. In der Sache teilt es Anthropics Einschätzung: Das katastrophale Risiko war zu diesem Zeitpunkt gering.

Spannend ist, was danach kommt. Das „doppelt so schnell“ vom Oktober bezieht sich auf klar umrissene Aufgaben, verglichen mit dem Tempo von März 2024 bis Oktober 2025. METR vermutet, dass rund 80 % dieser Beschleunigung von der intern eingesetzten KI stammen. Und es schließt eine neue kräftige Beschleunigung in den nächsten sechs Monaten nicht aus, die das Risiko schnell erhöhen könnte.

Die Vorbehalte sind zahlreich. Rechnet man die Modelle der anderen Labore ein, sinkt die Beschleunigung auf 1,4, vielleicht weil Anthropic 2025 zurücklag; METR lässt die Frage offen.

In Slack-Umfragen geben Mitarbeiter an, mit dem besten internen Modell im Schnitt zwölfmal schneller zu arbeiten, für METR ein „sehr loser“ Beleg. Von elf Forschern, deren Aussagen eingeordnet wurden, stützen zwei die These einer KI-bedingten Verdopplung klar, drei neigen ihr zu, zwei lehnen sie ab. Einer schreibt der KI 15 bis 20 % des Zugewinns zu.

Belege, die im Haus blieben

Hier wird der Bericht ungewöhnlich. Die Belege wurden laut Anthropic geschwärzt, weil sie Wettbewerbern helfen könnten, schneller voranzukommen. Die Öffentlichkeit, so der Prüfer, müsse sich auf sein Urteil verlassen, mehr als wünschenswert sei.

Der Ablauf zeigt, wie es dazu kam. Der vollständige Bericht, rund hundert Seiten, wird am 22. Oktober übergeben. Die Schwärzungsvorgaben folgen am 25., zwischen dem 27. und 29. verschärft Anthropic sie. METR erwähnt auch Rückmeldungen von Anthropic, die bei der Formulierung der Durchsicht mitunter zu nachdrücklich waren, ohne dass das Ergebnis dadurch laut METR verfälscht wurde. Und es räumt ein, das Risiko abgewogen zu haben, dass Anthropic oder andere ihm bei zu viel Kritik die Tür schließen.

Der Vertrag sah außerdem vor zu prüfen, wie Anthropic seine Rechenleistung zwischen der Entwicklung von Fähigkeiten und der Sicherheit aufteilt. Unterwegs hat Anthropic diesen Teil gestrichen, vor jeder Schlussfolgerung, um die Prüfung auf das Risiko zu konzentrieren. Das Unternehmen will später darauf zurückkommen.

METR wurde nicht bezahlt. Es arbeitete auf Rechnern von Anthropic, mit geschenkten Tokens, und gibt an, dass Claude, das Modell von Anthropic, den Großteil seiner eigenen Analyse erledigt hat, ohne dass eine Verzerrung festgestellt wurde.

„Wir haben viel geschwärzt“

Anthropic hat geantwortet, und zwar durch Sam McCandlish, Mitgründer und Verantwortlicher für diese Sicherheitsrichtlinie. Auf X räumt er ein, viel geschwärzt zu haben, und akzeptiert, dass es dadurch schwerer wird, METRs Arbeit zu überprüfen. Genau zu benennen, was die Beschleunigung antreibt, wäre geschäftlich heikel und käme einer Roadmap für die Konkurrenz gleich. Er kündigt für die kommenden Wochen einen Bericht von Anthropic an, auch zur Frage, wo das Unternehmen im Verhältnis zu seiner Richtlinie steht. Auf die 1,97 und die aufgegebene Prüfung geht seine Nachricht nicht ein.

Der Kontext wiegt schwer. Laut der Nachrichtenagentur AP bereitet das Unternehmen seinen Börsengang vor, der für diesen Monat vorgesehen ist, und sein Chef Dario Amodei rief die Branche am 12. September auf, das Tempo bei der Verbesserung der Modelle zu drosseln.

Am 25. Oktober ging es hier um METRs Audit bei OpenAI, der schon an dem scheiterte, was die Prüfer nicht sehen konnten. Diesmal hat der Prüfer fast alles gesehen. Es ist die Veröffentlichung, die auf halbem Weg stehen bleibt.

Im Oktober verglich Anthropic solche Prüfer mit den Inspektoren, die Aufsichtsbehörden in Großbanken einsetzen. Der Vergleich trägt, bis auf ein Detail: Hier schwärzt die Bank den Bericht des Inspektors.