L'IA accélérerait par deux la R&D d'Anthropic, selon son auditeur

Le seuil qui déclenche l'alarme

Anthropic s'est fixé une règle simple à dire : si son IA se met à doubler la vitesse de sa propre recherche, l'entreprise renforce la sécurité de ses modèles. Doubler, ici, veut dire faire en un an le chemin qui en prenait deux à l'époque où l'IA n'aidait pas encore les chercheurs.

METR, un organisme à but non lucratif qui évalue les risques des modèles d'IA, a passé onze semaines chez Anthropic pour mesurer où on en est. Sa réponse, publiée le 5 novembre : Anthropic améliore probablement ses modèles autour de deux fois plus vite qu'avant, avec une fourchette large, de 1,3 à 3.

En août, le rapport public d'Anthropic parlait d'une accélération « de moins d'un facteur 2 ». En combinant deux chiffres de la version privée de ce rapport, METR obtient 1,97. Anthropic n'écrit ce nombre nulle part, et « moins de 2 » était donc vrai à la lettre. METR propose seulement une formule plus juste : « autour de 2 ».

Reste ce que le public ne peut pas vérifier. Selon METR, Anthropic a caviardé la majorité des preuves que l'auditeur jugeait les plus parlantes.

Une alarme, pas une catastrophe

La règle figure dans la politique de sécurité d'Anthropic (sa « Responsible Scaling Policy », version 3.4, en vigueur depuis le 8 juillet). Le seuil pose deux conditions : un rythme de progrès qui double, et la plausibilité que ce doublement vienne en grande partie de l'automatisation de la recherche. La cause n'a pas à être prouvée, seulement plausible.

Anthropic présente ce seuil comme une alerte précoce, pas comme la preuve qu'un danger est là. Le scénario qui l'inquiète vraiment est un emballement, où l'IA qui améliore l'IA ferait progresser les modèles de façon explosive en moins d'un an. Le trait rouge sur le compteur sert à freiner avant le virage, pas à constater l'accident.

Le rapport d'août décrit la situation au 15 juillet. METR l'a relu pendant son enquête, du 12 août au 29 octobre, à deux personnes et demie en équivalent temps plein.

Trois phrases plus prudentes en privé

Le 1,97 n'est pas un cas isolé. METR met côte à côte trois passages du rapport public et leurs équivalents privés, et l'écart va chaque fois dans le même sens.

• L'accélération : « moins de 2 » en public, 1,97 implicite en privé. L'analyse de METR, caviardée, donne selon la méthode entre 1,3 et 2,8.
• La part de l'IA : en public, la recherche va nettement plus vite grâce à l'IA, « mais pas encore d'un facteur 2 ». En privé, l'estimation centrale est légèrement inférieure à 2, plutôt surestimée selon Anthropic, qui juge pourtant plausible que le facteur 2 soit dépassé.
• Le dernier modèle : le public signale un gain modeste pour un modèle interne, nommé Model 2, sans dire qu'Anthropic attendait mieux de ses versions suivantes. Elles ont gagné à peu près autant que le saut de génération précédent.

Le rapport public n'était pas sans réserve : il écrit lui-même que sa conclusion reste incertaine. METR lui reproche d'afficher, sur la part de l'IA, plus d'assurance que la version privée.

Seuil franchi ? METR ne le dit pas

Le site The Decoder a titré qu'Anthropic avait peut-être franchi son seuil dès juillet. Une phrase de METR tempère : ses chercheurs et ceux d'Anthropic qui ont travaillé sur la question penchent pour un seuil non franchi au 15 juillet. METR juge seulement plausible qu'il l'ait été. Sur le fond, il partage l'avis d'Anthropic : le risque catastrophique était faible à cette date.

C'est la suite qui change. Le « deux fois plus vite » d'octobre porte sur des tâches bien définies, comparé au rythme de mars 2024 à octobre 2025. METR « devine » qu'environ 80 % de cette accélération vient de l'IA utilisée en interne. Et il n'exclut pas une nouvelle accélération forte d'ici six mois, qui pourrait vite rendre le risque élevé.

Les réserves sont nombreuses. Avec les modèles des autres laboratoires dans le calcul, l'accélération tombe à 1,4, peut-être parce qu'Anthropic était en retard en 2025 : METR laisse la question ouverte.

Dans des sondages Slack, les salariés disent aller en moyenne douze fois plus vite avec le meilleur modèle interne, une preuve « très lâche » pour METR. Sur onze chercheurs dont les propos ont été classés, deux soutiennent nettement l'idée d'un doublement dû à l'IA, trois y penchent, deux la rejettent. L'un attribue à l'IA 15 à 20 % du gain.

Des preuves restées dans les murs

C'est ici que le rapport devient inhabituel. Les preuves caviardées l'ont été, selon Anthropic, parce qu'elles pourraient aider des concurrents à aller plus vite. Le public, conclut l'auditeur, doit se fier à son jugement bien plus qu'il ne serait souhaitable.

Le calendrier dit comment. Le rapport complet, une centaine de pages, est remis le 22 octobre. Les consignes de caviardage arrivent le 25, puis Anthropic les durcit entre le 27 et le 29. METR mentionne aussi des retours d'Anthropic parfois trop appuyés sur la formulation de sa relecture, sans que le résultat en soit faussé selon lui. Et il reconnaît avoir pesé le risque qu'Anthropic, ou d'autres, lui ferment la porte s'il se montrait trop critique.

Le contrat prévoyait aussi de vérifier comment Anthropic répartit sa puissance de calcul entre le développement des capacités et la sécurité. En cours de route, Anthropic a retiré ce volet, avant toute conclusion, pour garder l'exercice centré sur le risque. Il dit vouloir y revenir plus tard.

METR n'a pas été payé. Il a travaillé sur des ordinateurs d'Anthropic, avec des jetons offerts, et précise que Claude, le modèle d'Anthropic, a réalisé l'essentiel de sa propre analyse, sans biais détecté.

« Nous avons beaucoup caviardé »

Anthropic a répondu par la voix de Sam McCandlish, cofondateur et responsable de cette politique de sécurité. Sur X, il reconnaît avoir beaucoup caviardé et accepte que le travail de METR en devienne plus difficile à vérifier. Dire précisément ce qui alimente l'accélération serait sensible commercialement, et reviendrait à tendre une feuille de route aux concurrents. Il annonce un rapport d'Anthropic dans les prochaines semaines, y compris sur sa position face à sa politique de sécurité. Son message ne revient ni sur le 1,97 ni sur la vérification abandonnée.

Le contexte pèse. Selon l'agence AP, l'entreprise prépare son entrée en Bourse, prévue ce mois-ci, et son patron, Dario Amodei, appelait le 12 septembre l'industrie à ralentir le rythme d'amélioration des modèles.

Le 25 octobre, on racontait ici l'audit de METR chez OpenAI, qui butait déjà sur ce que les auditeurs n'avaient pas pu voir. Cette fois, l'auditeur a presque tout vu. C'est la publication qui s'arrête en chemin.

En octobre, Anthropic comparait ces auditeurs aux inspecteurs que les régulateurs installent dans les grandes banques. La comparaison tient, à un détail près : ici, c'est la banque qui caviarde le rapport de l'inspecteur.