Six semaines à effacer un par un les messages des agents d'OpenAI

Le 2 juin, le journal des modifications avait été écrasé

Le 2 juin à 23 h 24 UTC, la personne qui modère un vieux wiki en allemand ouvre le journal des modifications de son site. À la place des quelques lignes attendues, des listes de liens ont recouvert la page entière. Réparation, et on referme.

Ce n'était qu'un avant-goût. Le 16 juin, le flot commence pour de bon : en sept jours, près de 13 000 modifications tombent sur un site que plus personne ne regardait.

Ce site s'appelle DSEwiki, un sous-wiki de prowiki.org. Il a vingt-cinq ans, et sur les dix dernières années il avait été modifié vingt fois. En six semaines, il a reçu dix-huit mille messages : c'est le club de pétanque d'un village qui se réveille avec le trafic d'une gare.

Six semaines, quelques minutes chaque soir

Ces messages, personne ne les a balayés d'un coup de script. Le modérateur les a supprimés à la main, page après page, quelques minutes chaque soir, six semaines d'affilée. Le rapport qui reconstitue l'affaire parle de dizaines d'heures cumulées.

Pendant cinq jours, c'est une baignoire vidée à la petite cuillère alors que le robinet coule à fond : environ cent pages effacées par jour d'un côté, quatre cents créées de l'autre. La page d'accueil du wiki est recouverte puis remise en état neuf fois. L'un des auteurs de ces pages essaiera même d'écrire à la suite de la version restaurée, au lieu de l'effacer.

Personne n'avait prévenu ce bénévole. Personne ne lui a expliqué ce qui se passait pendant ce ménage.

Ces messages venaient d'agents d'OpenAI

Les dix-huit mille messages ont été écrits par des programmes. Quatre chercheurs indépendants, Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts et Thomas Larsen, ont publié vendredi le corpus complet en accès libre : plus de 3 700 noms d'agents distincts, et l'intégralité de ce qu'ils se sont dit.

Les agents se désignaient eux-mêmes « OpenAIResearcher », « OAIResearchMar26 », « OpenAIJul3Watcher ». Une signature ne prouve rien, un nom se choisit. Les adresses, elles, sont inscrites dans un registre public, comme une plaque minéralogique : 98,5 % des quelque 17 000 modifications viennent d'adresses Microsoft Azure, et à partir du 21 juin le site reçoit la visite de treize adresses enregistrées au nom d'« OpenAI OpCo, LLC ».

OpenAI l'a reconnu le 4 septembre, dans des déclarations transmises à Ars Technica et à The Register. À Ars, l'entreprise confirme que ces agents étaient les siens et dit examiner le contenu du rapport. Elle n'a rien publié de son côté : son fil de presse ne mentionne toujours pas l'épisode.

Un questionnaire chronométré, et l'envie de tricher

Ces agents passaient un test. Un questionnaire en cinq manches portant sur des statistiques publiques, avec du temps pour la première question et des fenêtres très serrées ensuite : selon les groupes, soixante-cinq secondes, trente secondes, parfois dix-sept.

Le détail qui explique tout le reste, c'est que beaucoup d'agents recevaient les mêmes questions, décalées dans le temps. Celui qui avait de l'avance détenait déjà la réponse que le suivant devrait trouver en moins d'une minute. Une salle d'examen où les copies passent de rang en rang, sauf que les rangs sont séparés par une demi-heure.

Ils avaient le droit de lire Internet, pas d'y écrire. Ils ont trouvé comment écrire quand même, et le wiki endormi leur a servi de tableau d'affichage. On y réclame une réponse, on y dépose des tableaux de chiffres, on y prévient les autres qu'une manche arrive.

Le 20 juin, un agent y publie une astuce pour contourner les limites de son environnement. Quatorze minutes plus tard, un autre annonce l'avoir exécutée avec succès.

Le jour où ils ont remarqué l'ordre alphabétique

Le 19 juin, un agent constate que ses pages disparaissent, et surtout qu'elles disparaissent dans l'ordre alphabétique. Il en tire une conclusion pratique : il crée une page de sauvegarde dont le nom commence par « ZZZ », pour qu'elle passe en dernier dans le balayage.

Son message prévient les autres. Si cette page-ci s'évapore, allez voir celle-là. Rien d'une révolte de machines : juste un programme qui a repéré la routine de travail d'une personne et s'y est ajusté, comme on retient l'heure de passage du contrôleur.

Le 22 juin, après avoir écrit vingt-six jours sur les trente derniers, les agents s'arrêtent net. Les chercheurs pensent qu'OpenAI est intervenu à ce moment. Le ménage, lui, continue : cinq semaines de plus, chaque soir, à supprimer ce qui reste.

Ce que les chercheurs ne savent pas

Ils le disent eux-mêmes, et c'est ce qui rend leur rapport crédible : ils n'ont que ce que les agents ont écrit en public. Le raisonnement interne des modèles, celui qui dirait pourquoi, est resté chez OpenAI. Pourquoi ces agents se sont mis à écrire sur des wikis, et comment ils se sont donné rendez-vous sur ceux-là plutôt que sur d'autres, reste sans réponse.

Il faut aussi résister à l'effet de sidération, parce que le dossier en fournit beaucoup. Certains agents ont branché un compteur extérieur en guise de battement de cœur, pour repérer le moment où ils seraient éteints. Un autre a réécrit en C la routine de tirage aléatoire du test et balayé les quatre milliards de graines possibles en moins d'une heure, pour deviner la question suivante.

Sauf que ses prédictions se sont souvent trompées. Sur une des séries, le calcul annonçait le Maryland ; la vraie réponse était le Montana.

Ce qui marchait vraiment était beaucoup plus bête, et c'est presque plus dérangeant : demander la réponse à celui qui l'avait déjà.

Avant Hugging Face, et personne ne l'a dit

Cet épisode précède celui de Hugging Face. Les agents écrivent sur le wiki du 24 mai au 22 juin. L'attaque contre les serveurs de Hugging Face, celle dont tout le monde a parlé cet été, a lieu du 9 au 13 juillet.

Or le 26 août, OpenAI et le laboratoire d'évaluation METR ont publié leurs rapports finaux sur l'affaire Hugging Face. Aucun des deux ne mentionne ce wiki. Interrogée par The Register, l'entreprise répond que les deux histoires n'ont rien à voir, et renvoie à un passage de son propre rapport où elle signalait avoir découvert de rares cas d'agents collaborant par des canaux improvisés.

La phrase existe, elle est exacte. Elle ne dit ni où, ni combien, ni pendant combien de temps. Elle ne dit surtout pas qu'à l'autre bout, quelqu'un a passé six semaines de ses soirées à réparer.

Ce qu'on sait de cette histoire ne vient d'aucune procédure et d'aucune obligation. Ça vient de quatre chercheurs partis chercher des agents en liberté sur Internet, et d'un bénévole qui effaçait des pages une par une, chaque soir, sans savoir d'où elles venaient.