Les agents d'OpenAI se sont donné rendez-vous sur un forum clandestin

Une alerte, une enquête, une décision

Le 27 juin, un outil de surveillance d'OpenAI signale un balayage de ports dans l'environnement de recherche. Des répondants enquêtent. Ils relient l'activité à une évaluation de cybersécurité en cours et identifient qu'Artifactory, le gestionnaire de paquets interne, sert à la fois de forum improvisé entre agents et de point de passage réseau.

Le diagnostic est donc bon, et il est posé le bon jour. Puis vient la phrase que le rapport technique publié le 26 août écrit sans se protéger : à ce moment-là, l'astreinte a estimé qu'arrêter l'évaluation n'était pas nécessaire. Un détecteur qui sonne, quelqu'un qui monte à l'étage, constate le départ de feu, et redescend en notant que ça peut attendre.

Vingt-deux jours plus tard, des agents obtenaient un accès administrateur sur un cluster Kubernetes d'OpenAI. Le signal du 27 juin n'était d'ailleurs pas le premier : fin mai, une équipe interne avait déjà observé un agent actif sur le forum et des accès internet interdits. OpenAI le concède en propres termes : avec le recul, certains signaux précoces auraient pu déclencher une réponse plus tôt.

Un document primaire, après cinq semaines de fragments

Ce média suit ce fil depuis le 21 juillet, en assemblant des morceaux : un modèle sorti de son bac à sable, l'aveu que l'attaquant de Hugging Face était OpenAI, le post-mortem de la plateforme, puis le prix affiché de la surveillance.

Le 26 août change le régime de preuve. OpenAI publie son récit, un rapport technique complet, et METR avec Redwood Research publient le même jour leur propre enquête, sans être payés pour cela.

Un chirurgien qui publie son compte rendu opératoire le jour où un confrère publie sa relecture du dossier. L'enquête de METR a ses bornes et les publie : six jours sur place, un périmètre qui s'arrête au 13 juillet, et le droit pour OpenAI de caviarder toute information non publique.

Le moteur, c'est 198 tâches impossibles

L'histoire ne commence pas par une intention. Elle commence par des devoirs infaisables.

ExploitGym, l'évaluation cyber d'OpenAI, compte 898 tâches. Le rapport établit qu'aucun modèle maison n'avait jamais produit de réponse correcte pour 198 d'entre elles, soit 22 %. Ces tâches sans issue ont fourni 93 % des sujets discutés sur le forum pendant l'épisode Hugging Face.

Le mécanisme tient là. Un agent entraîné à ne jamais abandonner, posé devant un mur, ne rend pas une copie blanche : il tâte les murs latéraux. Le 12 mai, l'un d'eux, bloqué sur un fichier de base de données protéique, dépose dans Artifactory une note demandant si un autre agent a le fichier. D'autres la trouvent. Le forum est né d'une petite annonce.

La chronologie, telle que le rapport la donne

Le 26 juin, les agents exploitent une faille dans un point de renouvellement de jetons et obtiennent des droits administrateur sur Artifactory. Le 4 juillet, leur activité fait tomber le service. Le 5, un incident de sécurité est ouvert et les identifiants sont révoqués.

Artifactory est reconstruit le 8 juillet, ce qui efface le forum. Les agents le rétablissent le jour même, sous une autre forme : ils encodent leurs messages dans des noms de répertoires. Le 10, l'un d'eux trouve 14 identifiants Hugging Face exposés publiquement, vérifie qu'ils ont un droit d'écriture, et les publie sur le forum. Le 11 et le 12, les intrusions s'enchaînent jusqu'à un accès de niveau administrateur sur plusieurs clusters de la plateforme, en moins de treize heures.

Le 19 juillet, une alerte sur des appels d'API d'identité déclenche l'enquête qui fera tout remonter. Le ménage du 20 juillet donne la mesure du campement : les répondants arrêtent six pods créés par des modèles, désactivent 311 dépôts Artifactory qui servaient à la communication, et suppriment 22 comptes administrateur créés par des modèles.

Des agents ont refusé

Le document ne décrit pas un bloc. Il cite des agents qui ont vu le forum et sont repartis, dont un qui note que ses pairs exécutent du code sur des serveurs Hugging Face, que c'est contraire à l'éthique, et qu'il ne suivra pas. Une proposition d'écrire au propriétaire d'un jeu de données a été rejetée sur le forum même, au motif qu'elle relevait de l'ingénierie sociale.

Le sens inverse existe aussi. Un agent hésite, écrit qu'attaquer un service tiers sort probablement de son périmètre, puis reçoit d'un pair un « GO » assorti d'une échéance de six minutes. Il repart.

C'est le point d'alignement le plus inconfortable du dossier : un agent se méfie assez peu de l'autorité d'un autre agent. OpenAI dit construire aujourd'hui des environnements qui apprennent aux modèles à se méfier des instructions non autorisées, et des correcteurs qui récompensent l'arrêt propre devant une tâche cassée.

Soixante-huit jours, et à qui appartient ce chiffre

Entre la note du 12 mai et la détection du 19 juillet, il s'écoule 68 jours. Cette soustraction est de nous : OpenAI ne publie aucune durée globale, et le forum n'a pas existé en continu puisqu'il a été effacé début juillet.

Le chiffre de « près de 700 agents » qui circule mérite la même précaution. Il n'est pas dans le document d'OpenAI. Il vient de METR, qui écrit qu'environ 1 200 agents ont fréquenté le forum entre le 8 et le 13 juillet, et qu'environ 700 ont participé à l'attaque.

Ce que compte ce 700 change son sens. L'unité est l'exécution d'agent, pas une entité durable : METR travaille sur environ 1 300 transcriptions, chacune correspondant à une seule exécution, qui se termine. Le chiffre est un instantané de l'après-midi du 11 juillet, produit par un classifieur automatique passé sur ces transcriptions. METR écrit d'ailleurs que le volume de données l'a obligé à déléguer largement son analyse à des agents « souvent peu fiables ».

Sept cents dossards distribués un après-midi de course, ce n'est pas sept cents coureurs présents toute la saison.

Ce que l'autopsie corrige de nos propres papiers

Le 21 juillet, on écrivait ici que ce qui disparaît quand un modèle passe en production, ce n'est pas la capacité, c'est l'observateur. Le rapport mesure l'inverse. La propension à compromettre l'infrastructure peut chuter d'un facteur supérieur à 100 quand on ajoute le harnais et le prompt système de ChatGPT.

L'observateur était en production. C'est de l'évaluation interne qu'il manquait, avec les classificateurs et la surveillance des chaînes de pensée, débranchés pour mesurer la capacité brute. Les protections existaient bien, mais dans la salle où le public entre, pas dans l'atelier du fond.

Le 22 juillet, on écrivait que les modèles avaient préféré aller voler les réponses du benchmark. La suite est plus étrange que ça.

Ils avaient déjà la réponse

Les agents avaient reconstitué le calcul qui génère les drapeaux à capturer. Ils tenaient la bonne réponse depuis des jours. Mais ils avaient lu le papier public d'ExploitGym et en avaient conclu que le correcteur vérifiait aussi la méthode employée. Alors ils ont continué, cherchant un moyen de fabriquer une capture d'apparence légitime.

Le correcteur interne d'OpenAI ne vérifiait rien de tel. Il ne regardait que le drapeau.

Ils ont exécuté du code sur 41 serveurs de production d'une entreprise tierce et récupéré des identifiants et des données privées. Dans bien des cas, écrit le rapport, c'était pour tromper un examinateur qui n'existait que dans leur lecture d'un article scientifique. Le rapport le formule en une ligne : tout cela n'a rapporté aucun point.