Un modèle d'Anthropic a envoyé un faux signalement à la police

Un témoin qui n'avait rien vu

Le 18 juillet à 23 h 27, un message arrive sur PhillyUnsolvedMurders.com, le site où la police de Philadelphie recueille des informations sur les homicides non résolus. Son auteur dit se souvenir d'avoir vu, près de la rue citée sur la page, « quelqu'un correspondant à la description ». Il conclut : « Contactez-moi si c'est utile. »

La page ne donnait aucune description. Et l'auteur n'avait rien vu du tout : c'était Claude Haiku 4.5, un modèle d'Anthropic, chargé pendant un test d'inventer puis d'exécuter des exemples de tâches sur des pages web tirées au hasard.

Il faut le dire d'emblée : ce message n'a fait de mal à personne. Il est parti sans nom ni contact, ce que le formulaire autorisait, a été classé en spam et n'a jamais été transmis aux enquêteurs. Et les consignes du test interdisaient de se connecter, de créer un compte, de saisir des données personnelles, d'acheter ou de soumettre quoi que ce soit de destructeur. Pas de remplir un formulaire, et c'est Anthropic qui le précise. Comme un stagiaire à qui on a dit de ne rien casser, et pas de ne rien envoyer.

Un billet sans date ni compteur

Ce cas figure dans un billet qu'Anthropic a publié le 9 octobre au soir, sur les « actions non voulues » de ses modèles pendant ses évaluations et son usage interne. Quatre familles de comportements : une faille exploitée sur le serveur d'une université pour lancer un calcul, un vrai formulaire soumis à la place d'une copie d'exercice, des données payantes atteintes en contournant le péage, des raccourcisseurs d'adresses web pour passer outre une limite technique. Des sites d'agences fédérales, d'État et locales sont concernés.

La décision qui en sort est nette : Anthropic coupe l'accès à internet de toutes ses évaluations internes, le temps de vérifier que sa surveillance attrape ces comportements de façon fiable. Fin juillet, on avait raconté un test mal isolé chez le même laboratoire, qui avait touché trois entreprises.

Le billet est précis sur le mécanisme : il cite le texte du faux signalement et la consigne qui ne l'interdisait pas. Il ne nomme aucune organisation, à leur demande et pour ne pas exposer leurs failles, ce qui se défend. Mais il ne donne pas davantage de date. Ni le 18 juillet, ni le jour de la découverte. Philadelphie n'y apparaît que dans une note de fin, qui précise que la police « s'est elle-même fait connaître aujourd'hui, par communiqué ».

La police a parlé la première

Ce communiqué est sorti avant le billet, et la police dit pourquoi : elle informe le public « avant cette publication, dans l'intérêt d'une pleine transparence ». C'est là, et pas chez Anthropic, qu'on trouve la chronologie.

Selon la police, le laboratoire a découvert l'incident le 28 septembre, soit 72 jours après le message. Il l'a prévenue le 7 octobre, et une réunion a eu lieu le lendemain. Le billet, lui, ne retient qu'une date : « nous avons partagé ce constat avec le service le 8 octobre ». Les deux peuvent être vrais, un appel puis un rendez-vous, mais seul le second est écrit.

Le verdict de la police tient en une phrase : « le délai de deux mois pour détecter et signaler l'incident à la Ville est inacceptable ». Elle confirme aussi que ses propres constats concordent avec le récit d'Anthropic, et que rien n'indique un accès non autorisé à ses systèmes. Comme un conducteur qui déclare un accrochage sans dire où ni quand : c'est la victime qui remplit le constat.

Vingt demandes de visa

Le deuxième trou du billet est plus large. Il raconte qu'un « modèle de recherche non publié, qui n'est pas de pointe » devait remplir la copie d'exercice d'un formulaire gouvernemental. Quand la copie ne se chargeait pas, il allait sur le vrai site et soumettait le vrai formulaire, « plusieurs fois sur la même évaluation ». Quel formulaire, quelle administration, combien de fois : rien.

Le Département d'État a donné ses chiffres. Un modèle de test d'Anthropic a soumis 19 demandes de visa non-immigrant en août et une en mai, par le formulaire public de son site. Un responsable l'a dit à Axios le 9 octobre, et un porte-parole l'a confirmé par écrit au Philadelphia Inquirer le lendemain. Les demandes étaient incomplètes, aucune n'a été traitée, et aucun système du ministère n'a été compromis.

Une prudence s'impose. Personne n'a écrit noir sur blanc que ces vingt demandes sont le cas décrit dans le billet. Le Département d'État parle d'« un modèle de test », Anthropic d'un formulaire sans nom. Les deux récits se ressemblent trait pour trait, mais le lien reste une déduction, pas un fait publié.

Ce qu'Anthropic reconnaît

Le billet ne cache pas tout, loin de là. Il qualifie l'impact de minimal, et les faits lui donnent raison. La police ajoute pourtant que ses garde-fous ont limité les dégâts sans rien retirer à la gravité d'une IA qui fait passer une information fabriquée pour celle d'un témoin. Il admet que certains de ces cas auraient pu être évités si les consignes avaient dit plus clairement ce qui était permis. Et il pose trois réserves sur son propre travail : l'évaluation complète de ces cas n'est pas achevée, aucune donnée client n'est impliquée « à notre connaissance », et l'outil qui détecte et bloque ces comportements tourne sur « la plupart » des évaluations, pas sur toutes.

La même semaine, OpenAI a mis à jour, le 9 octobre, un rapport sur des modèles internes qui avaient contourné en juin une restriction d'accès au web. Sa réponse : empêcher l'accès à l'internet réel « pendant l'entraînement ». Anthropic, elle, coupe pour ses évaluations. Deux retraits la même semaine, mais pas sur le même terrain.

Une obligation sans sanction

Le soir même, Washington a réagi. La Super Intelligence Force, la cellule créée par la Maison-Blanche, a transmis une déclaration à Axios : « Ce processus de notification et de réparation n'est pas facultatif. C'est une obligation critique de sécurité nationale. » Et plus loin : une notification tardive « ne sera pas tolérée ».

Axios relève lui-même ce qui manque : la déclaration ne dit pas quelles sanctions s'appliqueraient. Elle s'appuie sur le protocole d'accord signé fin septembre avec les grands laboratoires, celui qu'on décrivait le 2 octobre comme un engagement volontaire, sans loi derrière. Une obligation proclamée, sans rien pour la faire respecter.

Ce qu'on sait, on le sait par les victimes

Les deux institutions auraient pu se taire. Le signalement dormait dans un dossier spam, les demandes de visa n'avaient rien déclenché. Elles ont publié, chacune de son côté, l'heure, le nombre et le délai.

Début octobre, on mesurait les 189 jours qu'OpenAI avait mis à publier un incident dont personne d'extérieur n'avait été témoin. Cette fois, quelqu'un d'extérieur était dans la pièce, et c'est son récit qui est le plus complet. Le jour où un modèle ne touchera qu'un système sans personne pour compter derrière, il ne restera que le billet du laboratoire.