Die KI schrieb ihr eine Krankheit, die sie nicht hatte

Eine Frau öffnet den Befund ihrer MRT-Untersuchung in ihrer Patientenakte. Sie liest, dass sie an einer Demyelinisierung leidet, einer Schädigung der Nervenfasern, die zu Multipler Sklerose führen kann. Der ursprüngliche Befund sagte das Gegenteil: „null demyelination“, keine Demyelinisierung. Die von einer KI erstellte Zusammenfassung hatte die Krankheit behalten und die Verneinung verloren.

Die Patientin arbeitet selbst als Gesundheitsfachkraft beim NHS. Sie war es, die im Krankenhaus nachfragte, und das Krankenhaus, das die Korrektur vornahm. Dem Guardian, der die Geschichte am 31. August veröffentlichte, schilderte sie die falsche Diagnose als traumatisierend, ebenso wie die Antwort des Krankenhauses danach: ein Tippfehler. „Das wurde schließlich korrigiert, aber es war eine sehr traumatisierende Erfahrung, wegen einer KI eine falsche Diagnose zu bekommen und dann zu hören, es sei nur ein Tippfehler“, sagte die Frau, die darum bat, nicht genannt zu werden.

Was Healthwatch gesammelt hat, und worauf das beruht

Healthwatch England ist die gesetzlich verankerte Institution, die im englischen Gesundheitssystem für die Stimme der Patientinnen und Patienten sorgt. Im Juli veröffentlichte sie eine Untersuchung zu KI-Scribes, jenen Programmen, die dem Gespräch zuhören und die Notiz verfassen, die in die Akte wandert. Zwei Instrumente kamen zum Einsatz: eine repräsentative YouGov-Umfrage unter 4.039 Erwachsenen und eine kleine, frei zugängliche Online-Befragung, an der 44 Personen teilnahmen.

Diese 44 Antworten sind es, die die Fehlergeschichten tragen. Dreißig davon stammen von Menschen, bei denen im vergangenen Jahr tatsächlich ein Scribe zum Einsatz kam, und der Bericht schreibt, eine „kleine Zahl“ habe Fehler in der eigenen Akte gefunden. Das sei gleich vorweggenommen: Das ist kein Häufigkeitswert, und Healthwatch behauptet auch nicht das Gegenteil.

Was diese Berichte jedoch belegen, ist ein Muster. Unter den Fällen, die der Guardian aus dem Bericht aufgriff: ein Medikament, das mit einem ähnlich klingenden verwechselt wurde, ein Entlassbrief, der zu erwähnen vergisst, dass ein Rezept erneuert werden muss. Der erste Fehlertyp ist nicht neu: eine ontarische Prüfung von zwanzig Scribes hatte ihn im Mai bei zwölf von ihnen festgestellt. Und in den gemeldeten Fällen war es jedes Mal die Patientin oder der Patient, die den Fehler bemerkte, nicht die Fachkraft. Healthwatch schreibt, „mehrere Berichte von Patientinnen und Patienten“ gehört zu haben, „die solche Fehler bemerkt haben, wenn eine Fachkraft es nicht getan hatte“.

Der Satz, den die Aufsichtsbehörde einen Monat zuvor geschrieben hatte

Am 29. Juli veröffentlichte die MHRA, die britische Behörde, die Arzneimittel und Medizinprodukte reguliert, einen Text, der den Status dieser Werkzeuge festlegt. Ihr Schluss: Eine Software, die sich aufs Transkribieren, Zusammenfassen, Formatieren, Vorschlagen von Abrechnungscodes oder Entwerfen eines Briefs beschränkt, ist kein Medizinprodukt. Sie fällt damit nicht unter das Kontrollregime, das für einen Scanner oder eine diagnoseunterstützende Software gilt.

Der Text nennt fünf Beispiele befreiter Produkte. Bei allen fünf steht dieselbe Klausel, fast wortgleich wiederholt: Das Ergebnis wird bereitgestellt „zur Durchsicht sowie zur Bearbeitung oder Korrektur durch die Ärztin oder den Arzt, falls erforderlich“, und beim Konsultationsresümee zusätzlich, „bevor es in der elektronischen Patientenakte gespeichert wird“. Die Pressemitteilung der Behörde wird noch deutlicher: Ärztinnen und Ärzte blieben dafür verantwortlich, von der KI erzeugte Transkripte, Zusammenfassungen und andere Ergebnisse zu prüfen und zu verifizieren, bevor sie in der Patientenversorgung verwendet würden, und „diese Verantwortung ändert sich durch die Leitlinie nicht“.

Das ist eine verschlossene Tür mit dem Schlüssel direkt daneben. Die Ausnahmeregelung besagt nicht, dass diese Werkzeuge sicher sind. Sie besagt, dass sie nicht wie ein Medizinprodukt kontrolliert werden müssen, weil dahinter ein Mensch prüft. Die Logik ist in sich schlüssig. Sie beruht vollständig auf einer Durchsicht, deren tatsächliches Stattfinden niemand misst.

Jedes Glied schiebt die Prüfung ans nächste weiter

Der Rest der Kette folgt demselben Gefälle. NHS England schreibt in seinem Planungsrahmen, die Einrichtungen sollten Ambient-Voice-Technologie „at pace“ einführen, unter gebührender Berücksichtigung des nationalen AVT-Registers. „At pace“ ist die Formulierung der Behörde selbst, nicht die eines Journalisten: zügig, ohne Verzug. Und die dadurch gewonnene Zeit solle genutzt werden, um zusätzliche Patientinnen und Patienten zu sehen. Die Anweisung steht dort wörtlich.

Das nationale Anbieterregister wiederum beruht auf Selbstauskunft. NHS England stellt auf der eigenen Seite klar, dass sie keinen der Anbieter befürwortet, nur „vorläufige Vollständigkeitsprüfungen“ anhand der Anforderungen vornimmt und die eigentliche Bewertung bei der einkaufenden Einrichtung vor Ort liegt. Was die Haftung betrifft, beschreibt die Leitlinie von NHS England sie als „komplex und weitgehend unerforschtes Terrain, mit begrenzter Rechtsprechung, die Klarheit schaffen könnte“, und weist darauf hin, dass sie auf die Einrichtung zurückfallen kann, im Rahmen einer „nicht delegierbaren Pflicht des Trusts oder der hausärztlichen Einrichtung“.

Die Aufsichtsbehörde stützt sich auf die Durchsicht durch die Ärztin oder den Arzt. Deren Arbeitgeber verlangt von ihnen, schneller zu werden. Das Register prüft nur vorläufig. Und die einzige Kontrolle, von der in den gemeldeten Fällen überhaupt eine Spur bleibt, ist eine Patientin, die ihre eigene Akte geöffnet hat.

Das Gegenargument ist stichhaltig, und daran führt kein Weg vorbei

Ein Punkt erschüttert jede Argumentation nach dem Muster „die KI irrt sich“. Charlotte Blease, Forscherin an der Universität Uppsala, sagt dem Guardian: Auch Ärztinnen und Ärzte irren sich, ohne KI, und „es ist durchaus möglich, dass die Fehlerquote schlechter ist“. In ihrer Umfrage unter 1.003 britischen Hausärztinnen und Hausärzten hielt mehr als die Hälfte die von der KI erstellten Aufzeichnungen für genauer als die eigenen.

Gibt es eine Messung, die das entscheidet? Zwei aktuelle Studien nutzen dasselbe Bewertungsraster für klinische Aufzeichnungen und kommen zu entgegengesetzten Schlüssen. Die Studie der Veterans Health Administration, im April in den Annals of Internal Medicine erschienen, ließ elf Werkzeuge und achtzehn Fachkräfte Notizen zu fünf Standardkonsultationen erstellen: Die menschlichen Notizen setzten sich jedes Mal durch. Ein am 18. August eingereichtes Preprint zu 385 nachgestellten Konsultationen aus fünf Ländern kommt zum gegenteiligen Schluss, mit kritischen Fehlern, die bei jungen und mittleren Ärztinnen und Ärzten zweieinhalbmal häufiger auftraten als bei der KI.

Diese zweite Studie verdient ihre Warnung im selben Satz: Sie wurde vollständig von Heidi Health finanziert, dem Anbieter des bewerteten Scribes, und sämtliche Autorinnen und Autoren stehen bei diesem Geldgeber auf der Gehaltsliste. Sie geben das unumwunden an. Heidi Health steht im Anbieterregister des NHS.

Die Zahl, die die Frage verschiebt

Eben dieses vom Anbieter finanzierte Preprint enthält ein Ergebnis, das für beide Seiten zählt. Wenn Ärztinnen und Ärzte eine Notiz ohne Hilfsmittel gegenlesen, entdecken sie rund 12 Prozent der Fehler, die eine sensiblere Methode aufspürt. Und in KI-erstellten Notizen entdecken sie sogar einen noch geringeren Anteil als in denen, die eine Kollegin oder ein Kollege verfasst hat.

Die Frage, wer besser schreibt, rückt damit in den Hintergrund. Das Sicherheitsnetz, auf dem die gesamte regulatorische Architektur ruht, die menschliche Durchsicht, lässt das meiste von dem durch, was es eigentlich auffangen soll. Healthwatch formuliert es auf ihre Weise, ohne sich festzulegen: Es sei zum jetzigen Zeitpunkt unklar, ob KI-Scribes zu mehr oder weniger Ungenauigkeiten in den Zusammenfassungen führen als von Ärztinnen und Ärzten handschriftlich verfasste Notizen.

Healthwatch fordert kein Verbot, sondern eine Stelle, bei der eine Patientin oder ein Patient einen Fehler melden kann, und jemanden, dessen Aufgabe es ist, ihn zu korrigieren. Ihre Forderung an die Aufsichtsbehörden lautet: endlich zu sagen, an wen man sich wendet, wenn eine Notiz falsch ist. Bis dahin wünschen sich 81 Prozent der in England Befragten, vorab um ihr Einverständnis gebeten zu werden, bevor das Mikrofon eingeschaltet wird, und fast neun von zehn Personen mit einem kürzlichen Termin wussten nicht, ob das geschehen war.

Die Frau, die ihre falsche Demyelinisierung entdeckte, hat dem gesamten System einen Dienst erwiesen, ohne es zu wissen. Sie war die einzige Kontrolleurin im Dienst, und ihr Name steht in keinem Dokument.