Une IA a écrit une maladie que la patiente n'avait pas

Une femme ouvre le compte rendu de son IRM sur son dossier médical. Elle y lit qu'elle souffre d'une démyélinisation, une atteinte des nerfs qui peut conduire à la sclérose en plaques. Le compte rendu d'origine disait l'inverse : « null demyelination », aucune démyélinisation. Le résumé produit par une IA avait gardé la maladie et perdu la négation.

Cette patiente est elle-même professionnelle de santé au NHS. C'est elle qui a interrogé l'hôpital, et c'est l'hôpital qui a corrigé. Elle raconte au Guardian, qui a sorti l'affaire le 31 août, avoir vécu comme une épreuve ce faux diagnostic, puis la réponse de l'hôpital : une coquille. Elle a demandé à ne pas être nommée.

Ce que Healthwatch a recueilli, et sur quoi

Healthwatch England est l'organisme statutaire qui porte la voix des patients dans le système de santé anglais. Il a publié en juillet une recherche sur les scribes IA, ces logiciels qui écoutent la consultation et rédigent la note qui part au dossier. Deux instruments : un sondage YouGov représentatif de 4 039 adultes, et une petite enquête en ligne à participation libre, remplie par 44 personnes.

Ce sont ces 44 réponses qui portent les histoires d'erreurs. Trente d'entre elles concernent des gens chez qui un scribe a effectivement été utilisé dans l'année, et le rapport écrit qu'« un petit nombre » ont trouvé des erreurs dans leur dossier. Autant le dire tout de suite : ce n'est pas une mesure de fréquence, et Healthwatch ne prétend pas le contraire.

Ce que ces témoignages établissent, en revanche, c'est un motif. Parmi les cas que le Guardian a repris du dossier : un médicament confondu avec un autre au nom voisin, une lettre de synthèse qui oublie de mentionner qu'il faut renouveler l'ordonnance. Le premier défaut n'est pas neuf : un audit ontarien de vingt scribes l'avait relevé sur douze d'entre eux en mai. Et à chaque fois, dans les cas rapportés, la personne qui a vu l'erreur était le patient, pas le soignant. Healthwatch écrit avoir entendu « plusieurs récits de patients qui ont remarqué ces erreurs quand un professionnel de santé ne l'avait pas fait ».

La phrase que le régulateur a écrite un mois plus tôt

Le 29 juillet, la MHRA, l'agence britannique qui régule médicaments et dispositifs médicaux, a publié un texte qui décide du statut de ces outils. Sa conclusion : un logiciel qui se contente de transcrire, de résumer, de mettre en forme, de proposer des codes ou de préparer un brouillon de lettre n'est pas un dispositif médical. Il échappe donc au régime de contrôle qui s'applique à un scanner ou à un logiciel d'aide au diagnostic.

Le texte donne cinq exemples de produits exemptés. Les cinq portent la même clause, répétée presque mot pour mot : le résultat est fourni « pour relecture, édition ou correction par le clinicien », et pour le résumé de consultation, « avant qu'il soit enregistré dans le dossier médical électronique du patient ». Le communiqué de l'agence est encore plus net : les cliniciens restent responsables de relire et de vérifier les productions de l'IA, et « cette responsabilité est inchangée ».

C'est une porte fermée à clé, avec la clé accrochée à côté. L'exemption ne dit pas que ces outils sont sûrs. Elle dit qu'ils n'ont pas besoin d'être contrôlés comme un dispositif médical parce qu'un humain vérifie derrière. Le raisonnement se tient parfaitement. Il repose entièrement sur une relecture dont personne ne mesure si elle a lieu.

Chaque maillon renvoie la vérification au suivant

Le reste de la chaîne suit la même pente. NHS England a écrit dans son cadre de planification que les établissements doivent déployer ces technologies « à un rythme soutenu », et que le temps ainsi libéré chez les généralistes doit servir à voir davantage de patients. La consigne est écrite en toutes lettres.

Le registre national des fournisseurs, lui, est auto-certifié. NHS England précise sur sa propre page qu'il n'endosse aucun fournisseur, qu'il n'effectue que des « contrôles préliminaires » de conformité, et que toute l'évaluation revient à l'organisation locale qui achète. Quant à la responsabilité juridique, la guidance de NHS England la décrit comme « complexe et largement inexplorée, avec une jurisprudence limitée », et note qu'elle peut retomber sur l'établissement au titre d'un devoir de diligence qu'il ne peut pas déléguer.

Le régulateur s'appuie sur la relecture du clinicien. L'employeur du clinicien lui demande d'aller plus vite. Le registre ne vérifie qu'à titre préliminaire. Et le seul contrôle dont on ait la trace, dans les cas remontés, c'est un patient qui a ouvert son propre dossier.

Le contre-argument est solide, et il ne se contourne pas

Un point fragilise tout raisonnement du type « l'IA se trompe ». Charlotte Blease, chercheuse à l'université d'Uppsala, le dit au Guardian : les médecins se trompent aussi, sans IA, et « il est tout à fait possible que le taux d'erreur soit pire ». Dans son enquête auprès de 1 003 généralistes britanniques, plus de la moitié estimaient que les comptes rendus produits par l'IA étaient plus exacts que les leurs.

Existe-t-il une mesure qui tranche ? Deux études récentes utilisent la même grille d'évaluation des comptes rendus cliniques et arrivent à des conclusions opposées. Celle des Veterans Health Administration, publiée en avril dans les Annals of Internal Medicine, a fait produire des notes sur cinq consultations types par onze outils et dix-huit soignants : les notes humaines l'emportent à chaque fois. Un préprint déposé le 18 août, portant sur 385 consultations jouées dans cinq pays, conclut l'inverse, avec des erreurs critiques deux fois et demie plus fréquentes chez les médecins juniors et intermédiaires que chez l'IA.

Cette seconde étude mérite sa mise en garde dans la même phrase : elle a été financée en totalité par Heidi Health, l'éditeur du scribe évalué, et tous ses auteurs sont salariés de ce financeur. Ils le déclarent sans détour. Heidi Health figure au registre des fournisseurs du NHS.

Le chiffre qui déplace la question

Ce même préprint, financé par le vendeur, contient un résultat qui vaut pour les deux camps. Quand des cliniciens relisent une note sans outil d'aide, ils repèrent environ 12 % des erreurs qu'une méthode plus sensible retrouve. Et ils en repèrent une part encore plus faible dans les notes produites par l'IA que dans celles écrites par un confrère.

La question de savoir qui écrit le mieux passe donc au second plan. Le filet de sécurité sur lequel repose toute l'architecture réglementaire, la relecture humaine, laisse passer l'essentiel de ce qu'il est censé attraper. Healthwatch le formule à sa manière, sans trancher : on ne sait pas, à ce stade, si les scribes produisent plus ou moins d'inexactitudes que les notes écrites par les cliniciens.

Healthwatch ne réclame pas d'interdiction, mais un endroit où un patient signale une erreur, et quelqu'un dont c'est le travail de la corriger. Sa demande aux régulateurs tient là : dire enfin à qui l'on s'adresse quand une note est fausse. En attendant, 81 % des personnes interrogées en Angleterre voudraient qu'on leur demande leur accord avant d'allumer le micro, et près de neuf sur dix de celles qui ont eu un rendez-vous récent ignoraient si cela avait été fait.

La femme qui a repéré sa fausse démyélinisation a rendu service au système entier, sans le savoir. Elle était la seule relectrice en poste, et son nom ne figure dans aucun document.