Le patron de Microsoft réclame un frein d'urgence pour l'IA

Samedi, un frein et une crainte

Samedi 10 octobre, Satya Nadella a publié sur X un long texte sur la sécurité des modèles d'IA. Le patron de Microsoft y demande qu'« une personne autorisée » puisse toujours « mettre en pause ou arrêter un modèle en pleine tâche ». Sa formule, reprise par TechCrunch : « Il faut partir du principe qu'un modèle est compromis, et le confiner dès le départ. Voyez ça comme un frein d'urgence. »

Le même jour, quelques heures plus tôt, le Guardian publiait un entretien avec George Williamson, directeur de l'Alan Turing Institute, l'institut national d'IA du Royaume-Uni. Sa crainte tient en quelques mots : que son pays ne dépende que de modèles « qui pourraient être restreints, voire éteints ».

Le frein que l'un réclame ressemble beaucoup à l'interrupteur que l'autre redoute. Les deux hommes ne se répondent pas et ne se citent pas : c'est nous qui posons leurs textes côte à côte. Mais ils décrivent le même mécanisme, vu de chaque côté de la poignée.

Ce que Nadella demande

Le texte de Nadella part d'un constat d'ingénieur. Avec un logiciel classique, on pouvait remonter un comportement jusqu'au code qui le produit. Avec les modèles actuels, on ne sait plus le faire, et on leur confie pourtant des données sensibles et des actions critiques. D'où son appel à « prendre du recul et réévaluer l'architecture de la confiance ».

Concrètement, il propose de « séparer le modèle du harnais qui orchestre son travail », c'est-à-dire du logiciel qui lui passe les tâches et exécute ses décisions, et de sortir du modèle les contrôles et les garde-fous. Chaque « action significative » devrait laisser des « preuves infalsifiables, lisibles par un humain ». C'est la logique d'un ascenseur : le câble peut lâcher, mais le frein de sécurité ne dépend pas du câble.

Nadella écrit « Super Intelligence » pour désigner ces systèmes, et TechCrunch relève que c'est le terme préféré de l'administration Trump. Le même texte demande aussi que les incidents soient signalés rapidement à ceux qu'ils touchent. Il paraît au lendemain de la publication par Anthropic d'un incident dont la police de Philadelphie a jugé le délai de signalement inacceptable.

Ce que redoute Williamson

George Williamson ne vient pas du monde des start-up. Il dirigeait auparavant le HMGCC, un organisme gouvernemental discret qui fabrique du matériel pour les services de renseignement britanniques, à ne pas confondre avec le GCHQ, l'agence d'écoute. Selon le Guardian, Alan Turing lui-même figure parmi ses anciens employés. Williamson est arrivé à la tête de l'institut après que le gouvernement, son principal financeur, a exigé un changement de cap.

Son propos est mesuré, et ses restrictions comptent. « Nous ne devrions pas dépendre uniquement de systèmes qu'on ne peut ni inspecter ni contrôler, ou qui pourraient être restreints, voire éteints », dit-il, en pensant à la défense, à la sécurité nationale, aux infrastructures critiques et à la santé. Il ajoute que des pressions « politiques comme commerciales » pourraient priver le pays d'accès à l'IA dans des circonstances où il en voudrait.

Puis vient la phrase la plus nette : « Dans certaines circonstances, ce serait une bonne idée d'avoir quelque chose qu'on n'a pas à demander la permission d'utiliser. » Dans certaines circonstances, pas dans toutes. Williamson ne réclame pas l'autarcie, et il dit lui-même que l'institut n'essaiera pas de copier les grands laboratoires.

Le frein a déjà servi

Le frein d'urgence n'a rien d'une hypothèse. Il a été tiré à grande échelle le vendredi 12 juin. Ce jour-là, pour se conformer à une directive de l'administration américaine visant les ressortissants étrangers, Anthropic a mis hors ligne Fable 5 et Mythos 5, ses modèles les plus avancés, selon l'Associated Press. On a raconté comment on en est arrivé là, puis à quelles conditions le modèle est revenu. Anthropic a annoncé la levée des contrôles le 30 juin, dix-huit jours plus tard.

Ce que l'épisode dit de la poignée est simple. Ce n'est ni l'utilisateur ni le fournisseur qui a décidé de tirer le frein : Anthropic a coupé ses modèles sur ordre. Anthropic l'a dit sur le moment, sans contester le principe : « Nous pensons que le gouvernement doit pouvoir bloquer des déploiements dangereux, dans le cadre d'une procédure légale transparente, équitable, claire et fondée sur des faits techniques. Cette action ne respecte pas ces principes. »

C'est ce précédent que le Guardian rappelle dans son entretien avec Williamson. Vue de Londres, la « personne autorisée » de Nadella a déjà un visage, et elle travaille dans un ministère étranger.

Qui tient la poignée

Un frein d'urgence a deux faces. Pour celui qui tient la poignée, c'est une sécurité. Pour tous les autres passagers, c'est une dépendance : le train s'arrête quand quelqu'un d'autre l'a décidé. Le texte de Nadella ne dit pas qui doit tenir la poignée à l'échelle d'un pays, parce qu'il parle d'autre chose : des entreprises qui déploient des agents chez elles.

Pourtant, deux de ses principes vont dans le sens de Williamson. Nadella écrit qu'aucun modèle ne devrait devenir la seule dépendance d'un résultat important, et que les organisations devraient décider de façon indépendante de ce à quoi un modèle accède et de ce qu'il peut faire. Transposé à un État, ce serait presque le programme de l'Alan Turing Institute.

Rien de tout cela ne rend le frein indésirable. Quand le Congrès américain a voulu imposer un bouton d'arrêt aux laboratoires, on notait déjà que la vraie question était de savoir s'il coupe vraiment, et assez vite. Williamson en ajoute une seconde : pour le compte de qui il coupe.

Une entreprise peut choisir, un pays beaucoup moins

Une entreprise peut appliquer les principes de Nadella assez vite : plusieurs modèles, des contrôles placés hors du modèle, des journaux qu'on peut relire. C'est une affaire d'architecture, et elle reste maîtresse de ses choix.

Un pays a moins de marge. Williamson reconnaît que le Royaume-Uni ne pourra probablement pas rivaliser avec les moyens financiers des grands laboratoires, et mise sur des modèles plus petits et une propriété intellectuelle nationale, mis à disposition des start-up. Il n'est pas seul à poser la question : le Guardian rappelle que Christine Lagarde, à la Banque centrale européenne, a évoqué le risque d'être « coupé » des technologies américaines et chinoises.

Le frein de Nadella protège celui qui l'actionne. Williamson, lui, pense à ceux qui sont assis dans le wagon : « C'est assez inconfortable de ne pas avoir un minimum de contrôle sur des technologies, ou de pouvoir s'en servir quand on le souhaite, et il est aussi plus difficile d'imaginer comment on bâtit une économie sur des choses qui peuvent disparaître. »