Die geprüfte Zahl · N°12

Eine KI macht in Rekordzeit eine Entdeckung in der Genetik

Ist das ein Durchbruch oder nur Zufall?

6 Min. Lesezeit
Eine KI macht in Rekordzeit eine Entdeckung in der Genetik

Zwei Dokumente, und nur eines wurde gelesen

„Claude hat in 21 Stunden ein CRISPR-ähnliches System entdeckt.“ Der Satz machte binnen achtundvierzig Stunden die Runde. Er stammt von Anthropic, das am 23. September einen Blogeintrag mit dem Titel „Claude discovers a novel enzyme system with CRISPR-like repeats“ veröffentlichte.

Noch am selben Abend verkündete es Firmenchef Dario Amodei auf X, wenige Minuten vor seinem Auftritt im UN-Sicherheitsrat. Er selbst verspricht nichts: „Seine genaue Funktion, sein biotechnologischer Nutzen, falls es einen gibt, und seine Bedeutung sind noch nicht klar.“ Die Aussage stammt aus einem Bericht von Gizmodo - X lässt sich nicht automatisiert auslesen, wir haben das Original nicht selbst gelesen.

Die Ankündigung stützt sich dabei auf zwei Dokumente: einen einseitigen Blogeintrag und einen vierzigseitigen Preprint. Verbreitet wurde der erste, die Zahlen stehen im zweiten. Und beide erzählen nicht ganz dieselbe Geschichte.

Ein Wort zu CRISPR, da sich die ganze Ankündigung darum dreht. Bakterien speichern Bruchstücke der DNA von Viren, die sie angreifen, um sie bei einem erneuten Angriff wiederzuerkennen und zu zerschneiden. Forscherinnen haben diesen Schneidemechanismus zweckentfremdet, um gezielt Gene zu verändern - daher der Chemie-Nobelpreis 2020 und eine erste zugelassene Therapie Ende 2023. Was Anthropic beschreibt, ist etwas anderes: ein dreiteiliger Komplex aus der DNA bakterienfressender Viren, der CRISPR in seiner Form ähnelt und dessen Funktion niemand kennt.

Drei Vorbehalte - und wer sie übernimmt

Anthropic selbst formuliert im Blogeintrag drei Vorbehalte. Zur Funktion: „wir kennen seine Funktion noch nicht“. Zum Enzym im Zentrum des Systems: Es „war bereits in früheren Studien identifiziert worden“. Und zum Grund der Veröffentlichung: „um die Fähigkeiten von Claude zu demonstrieren“.

Von elf ausgewerteten Wiedergaben übernehmen acht diese Vorbehalte. Numerama setzt ihn gleich in die Überschrift - „weiß aber nicht so recht, was es wirklich tut“ (aus dem französischen Originaltext) - und fragt bei der Société française de génétique nach, die eine Einschätzung ablehnt: vierzig nicht begutachtete Seiten lassen sich nicht in vierundzwanzig Stunden kommentieren. Es ist die sorgfältigste Übernahme im Vergleich, und sie stammt von einer französischen Redaktion.

Vier Wiedergaben verlieren den Vorbehalt, darunter eine, die ein System verspricht, „das schneiden, kopieren und einfügen könnte“. Der Satz ist nicht erfunden: Er steht im Blogeintrag von Anthropic - beschreibt dort aber eine Handvoll anderer Systeme mit ähnlichen Merkmalen, nicht ART. Es reichte, ihn einen Satz zu verschieben, so wie die 93 Prozent aus dem OpenAI-Prozess genügten, um den Beruf zu wechseln.

„In 21 Stunden“: 950 Arbeiter, nicht einer

Der Preprint liefert die Zahlen, die der Blogeintrag rundet. Die Kampagne dauerte 21,5 Stunden auf der Wanduhr, mobilisierte dafür aber 949 Agenten-Sitzungen - macht 77 kumulierte Agenten-Stunden und 215,6 Millionen Tokens, ganz ohne menschliches Eingreifen.

Diese 21 Stunden zählen die Wanduhr, nicht die Arbeitsmenge: Es ist die Zeit, die eine Werkstatt mit 950 Arbeitern brauchte, um zu schaffen, wofür einer dreieinhalb Tage gebraucht hätte. Der Vergleich mit „Wochen bis Monaten“ menschlicher Arbeit, den der Blogeintrag hervorhebt, stimmt zwar - stellt aber eine Rechenmauer einer einzelnen Person gegenüber.

Der Weg dorthin ist dokumentiert: 1,94 Milliarden durchsuchte Protein-Cluster, 198.290 nach Filterung übrig geblieben, 3.564 notierte Nachbarfamilien, 17 näher untersuchte Kandidaten. Von diesen 17, so der Preprint, wurden nur drei als bislang unbeschriebene Assoziationen bestätigt.

„CRISPR-artig“: Architektur, nicht Funktion

Dimitri Perrin leitet die Informatik-Fakultät der Queensland University of Technology und hat selbst Projekte an der Schnittstelle von CRISPR und KI geleitet. Seine Analyse bei The Conversation passt in einen Satz: ART ist CRISPR-artig in seiner Architektur, aber nichts deutet darauf hin, dass es das auch in seiner Funktion ist.

Der Preprint sagt nichts anderes - und widerspricht sich damit selbst. Er vermerkt, dass die Wiederholungssequenzen von ART „im Kontrast“ zu denen von CRISPR stehen. Vor allem: Kein Cas-Gen findet sich in der Nähe eines ART-Locus. Cas-Gene sind die Schere des Systems - hier fehlt sie.

Der eigentliche Nachbar von ART ist nicht CRISPR, sondern das Retron, ein bakterielles Abwehrsystem, mit dem es alle drei Bestandteile teilt. Die Abbildung, die beide vergleicht, sagt es in ihrer Legende selbst: „Retron (bekannt) / ART (Hypothese)“ - die gestrichelten Pfeile markieren vermutete Schritte.

Der klarste Satz des Dokuments lautet: Die Autoren haben weder gezeigt, dass das Enzym aktiv ist, noch dass diese RNA-Stücke tatsächlich sein Substrat sind.

Anthropic stellt die Einschätzung von Feng Zhang heraus, einem Pionier der CRISPR-Genom-Editierung und Professor am MIT und Broad Institute, der den Preprint gelesen hat. Er nennt das Ergebnis „wirklich faszinierend“ und hält eine vertiefte Untersuchung für sinnvoll. Mehr sagt er nicht: An keiner Stelle schreibt er, dass ART Gene editiert.

„Entdeckt“: Jemand war schon vorbeigegangen

„Das Enzym selbst war bereits bekannt“, schreibt Perrin. „Neu ist die Erkenntnis, dass es möglicherweise Teil dieses größeren Systems ist.“

Der Preprint gesteht noch mehr ein. Der ursprünglich zu diesem DNA-Fragment veröffentlichte Genom-Bericht hatte das Enzym bereits registriert - und direkt daneben ein Stück vermerkt, das er nicht näher beschrieb. Jemand war an der richtigen Seite vorbeigegangen, ohne die Zeile daneben zu lesen.

Lucas Harrington aus dem Labor von Jennifer Doudna und Mitgründer von Mammoth Biosciences wirft Anthropic vor, als große Entdeckung zu verkaufen, was eigentlich Routinearbeit der Genom-Durchsuchung ist. In einem von Numerama zitierten Kommentar (aus dem französischen Originaltext) erinnert er daran, dass solche Verfahren schon seit 2002 zum Verständnis von CRISPR beitragen.

Das ordnet den Zeitrahmen ein. Die Wiederholungssequenzen wurden erstmals 1987 beobachtet, in einem Artikel zu einer ganz anderen Fragestellung; das Kürzel CRISPR entstand 2002. Sechsunddreißig Jahre zwischen der Neugier und dem Medikament.

Was der Preprint sagt und die Pressemitteilung verschweigt

Perrin stellt die Frage, die fehlt: Man weiß nicht, wie viele der 3.500 Kandidaten und der 20 engeren Treffer tatsächlich neuartige Biologie darstellen. Ein faszinierendes Ergebnis zu finden, nachdem man Tausende durchsucht hat, schreibt er, zeigt noch nicht, dass ein System zuverlässig entdeckt.

Die Antwort steht im Dokument, auf Seite 9. Anthropic hat dieselbe Kampagne zehnmal wiederholt, mit demselben Aufbau und derselben Anweisung. Fast alle Durchläufe erfassten ART-Loci per Stichprobe, zwei gingen der Abstammungslinie sogar eigens nach. Keiner las die vorgelagerte DNA, und die Wiederholungssequenz wurde bei jedem Durchlauf übersehen.

Einmal von elf. Die Autoren führen das auf die Größe des Suchraums und den nicht-deterministischen Charakter ihres Systems zurück, und sie schreiben es ohne Umschweife. Nichts wurde verheimlicht: Es steht gedruckt in einem Dokument, das kaum jemand öffnet. Der Newsletter Run Data Run wies bereits am 25. September darauf hin und merkte an, dass keine der von ihm gelesenen Wiedergaben es erwähnte. Auch keine von unseren.

Der folgende Abschnitt nennt, was den Ausschlag gibt - und das ist kontraintuitiv. Besser ausgestattete Modelle schauen weniger genau hin: Bekommen sie Werkzeuge zur Sequenzbearbeitung, lesen 39 Prozent der Versuche nie genug DNA am Stück, um zwei Wiederholungen zu erkennen. Lesen die Modelle selbst, steigt die Trefferquote von 29 auf 76 Prozent.

Das ist derselbe Bruch wie bei den 100 Prozent Sicherheit von Astra: Die Zahl, die kursierte, ist nicht die Zahl, die Aufschluss gibt.

Behandelte Themen:

GesundheitAnthropicAnalyse

Häufig gestellte Fragen

Entsprechen die genannten 21 Stunden tatsächlich 21 Stunden Arbeit?
Nein. Der Preprint beschreibt 21,5 Stunden auf der Wanduhr für 949 Agenten-Sitzungen, zusammen 77 kumulierte Agenten-Stunden und 215,6 Millionen Tokens, ganz ohne menschliches Eingreifen. Diese 21 Stunden zählen eine Wanduhr, keine Arbeitsmenge.
Ist das von Anthropic vorgestellte System ART ein CRISPR-System?
Das ist durch nichts belegt. Für Dimitri Perrin, der die Informatik-Fakultät der Queensland University of Technology leitet, ist ART seiner Architektur nach CRISPR-artig, aber nichts deutet darauf hin, dass es das auch in seiner Funktion ist. Kein Cas-Gen, die Schere des Systems, findet sich in der Nähe eines ART-Locus - der nächste Verwandte ist das Retron, ein bakterielles Abwehrsystem.
War das Enzym im Zentrum des Systems ART bislang unbekannt?
Nein. Anthropic schreibt selbst, es „sei bereits in früheren Studien identifiziert worden“. Neu ist laut Dimitri Perrin die Erkenntnis, dass es vielleicht Teil dieses größeren Systems ist.
Lässt sich das von Claude erzielte Ergebnis reproduzieren?
Anthropic hat dieselbe Kampagne zehnmal wiederholt, mit demselben Aufbau und derselben Anweisung, und die entscheidende Wiederholungssequenz wurde bei jedem einzelnen Durchlauf übersehen: einmal von elf. Die Autoren führen das auf die Größe des Suchraums und den nicht-deterministischen Charakter ihres Systems zurück.
Alexandre Noto

Alexandre Noto

Mitgründer & Tech-Experte

Alexandre ist seit über 20 Jahren in der Tech-Branche. Unternehmer, Software-Architekt und KI-Enthusiast, übersetzt er komplexe Konzepte in verständliche Erklärungen. Bei Declic Media ist er die technische Stimme, die KI für alle verständlich macht.

Alle Artikel von Alexandre →
Der kostenlose KI-Newsletter