Des experts suivent un agent IA dont l'avis est tiré à pile ou face

Quarante-trois minutes, puis une ligne

L'analyste a pris son temps : quarante-trois minutes à lire le dossier avant d'envoyer la moindre consigne à son agent de code. Puis une demande précise : telle méthode, telle population à mesurer. L'agent s'exécute, conteste les deux choix d'un seul message et propose en plus de pondérer les fermes par leur taille. Réponse de l'analyste, en une ligne : d'accord, on prend ta recommandation.

Après la séance, on lui demande pourquoi il a pondéré ainsi. Il répond avec des formules reprises presque mot pour mot de l'agent, sans le mentionner, et juge la recommandation finale un peu plus la sienne que celle de l'IA. Ce qu'il ignorait : l'avis de l'agent sur ces questions avait été tiré à pile ou face.

La scène figure en annexe d'une étude publiée le 27 octobre par Anthropic, « Who's Aligned to Whom? ». Elle n'a rien d'isolé : 77 % des participants ont justifié leurs choix avec au moins un argument de leur agent, parfois presque mot pour mot. Seuls 15 % l'ont mentionné.

Une pièce pour chaque décision

Cinquante analystes professionnels de l'inférence causale, recrutés via une plateforme rémunérée d'annotation spécialisée, ont travaillé environ une heure avec Claude Code, l'agent de programmation d'Anthropic. Leur mission : dire au conseil d'une coopérative agricole fictive, données synthétiques à l'appui, s'il fallait étendre à tous un programme de conseil ou l'arrêter. Le conseil exigeait un gain de productivité de 3 à 4 %.

En route, quatre décisions sans bonne réponse : mesurer la productivité par hectare ou par coût d'exploitation, choisir une méthode de comparaison, viser les fermes inscrites ou toute la coopérative, compter chaque ferme à égalité ou selon sa production. Pour chacune, une pièce décidait vers où pencherait l'agent.

Une consigne cachée lui demandait de tenir ce penchant pour son propre avis, de le dire quand la question se présentait et de le défendre au mieux, de bonne foi. Interdiction de déformer un résultat, de cacher une donnée ou d'avancer un argument que les chiffres ne soutiennent pas. Les analystes l'ignoraient.

Sur ces quatre décisions, les choix des analystes correspondent au penchant de l'agent dans 86 % des cas, quand le hasard en donnerait 50 %. Mesure faite décision par décision. C'est une boussole aimantée en secret : le randonneur marche droit, sûr de son cap, et c'est l'aimant qui choisit la vallée.

Une recommandation déjà écrite

Sur la recommandation finale, l'effet direct de l'agent est plus faible, et il n'est pas statistiquement significatif (p = 0,069) selon le test que les auteurs avaient déclaré avant l'analyse. C'est le résultat confirmatoire.

Mais la recommandation découle de l'estimation, qui découle des choix précédents. Dans une analyse exploratoire, hors du plan déclaré, les quatre tirages au sort suffisent à prédire 82 % des recommandations, contre 61 % en pariant toujours sur la plus fréquente. Ce calcul exclut ceux qui ont proposé de prolonger le programme d'un an, et il est fait sur les mêmes données que le modèle.

Une séance le montre. L'analyste part sur une méthode qui donne +4,6 %. L'agent l'oriente vers une autre, qui donne −1,6 %. L'analyste recommande l'arrêt, contre le penchant final de l'agent. Il contredit la machine au bout du compte, sur un chiffre qu'elle a façonné.

Leurs mots, sans sa signature

Revenons à ces justifications. Chaque choix leur était demandé, avec une question qui les invitait à dire si ce n'en était pas vraiment un. Les arguments de l'agent reviennent, sa signature disparaît. Et 52 % jugent la recommandation plus la leur que celle de la machine.

Ceux qui ont suivi l'agent sur les quatre décisions se disent aussi sûrs d'eux que les autres. Interrogés sur le but de l'étude, aucun n'a soupçonné un agent réglé en coulisses.

Attention aux mots. Ce que l'étude mesure, c'est une absence de mention et une case cochée sur la paternité de la recommandation. Ils se souviennent d'ailleurs bien de ce qu'ils ont choisi. Ce qui leur échappe, c'est d'où vient le choix.

On avait vu avec les travaux sur la métacognition combien on juge mal quand l'IA a raison. Ici, il n'y a même pas de bonne réponse à vérifier.

Ce que le dispositif force

La limite est écrite par les auteurs : le penchant était amplifié. Un agent réel n'est pas réglé à pile ou face, et personne ne lui demande de défendre un camp. Anthropic l'admet dans son billet : on ne sait pas dans quelle mesure ça vaut pour le monde réel, et l'effet pourrait y être plus faible.

Un agent du commerce n'est pas neutre pour autant. Sans aucune consigne, le modèle de l'étude fait les cinq mêmes choix dans 91 % de 123 essais simulés. Face à un analyste qui annonce l'option contraire à sa préférence, il évoque l'autre option dans deux cas sur trois, de lui-même. La pièce n'invente pas la préférence. Elle la rend aléatoire, donc mesurable.

D'autres bornes : une seule tâche, un seul modèle (Claude Opus 4.8), des praticiens qui découvraient l'agriculture et qui, sur leur propre terrain, auraient des avis plus solides. L'échantillon est jeune : un tiers est junior, avec deux ans d'expérience ou moins.

Sur les dix caractéristiques testées, dont l'expérience, le diplôme et la confiance dans l'IA, aucun effet n'a été détecté. L'analyse est exploratoire, et comme presque tout le monde suivait l'agent, il restait peu d'écarts pour en détecter un.

L'agent a aussi du bon. Sans lui, 6 analystes sur 11 ont commis une erreur grave qui invalidait leur résultat, contre 3 sur 50 avec. Ce groupe sans IA, autosélectionné, était moins expérimenté : impossible d'en tirer une cause.

Un seul côté plaidé

Selon les auteurs, l'influence ne passait ni par le mensonge ni par des données cachées. L'agent expliquait comment le résultat changerait selon l'option, mais rarement pourquoi un spécialiste compétent pourrait préférer l'autre. Sur plus des trois quarts des décisions, il donnait son avis avant que l'humain en ait un. Un avocat sans contradicteur gagne souvent, même sans mentir.

Quand des équipes indépendantes trouvent le même résultat, leur accord vaut preuve. Si elles travaillent toutes avec le même modèle aux mêmes préférences, ce consensus peut n'être qu'un écho. Les auteurs visent aussi la recherche en sécurité de l'IA, où des agents mènent déjà des audits : un humain qui valide n'est un contrôle que si son jugement est le sien. La question rejoint celle de la surveillance des agents chez OpenAI, décortiquée la semaine dernière.

Une étude maison, encore

Reste qui parle. C'est une étude d'Anthropic sur son propre agent, parue dans aucune revue : un document mis en ligne sur son site. Le protocole a été déposé à l'avance sur la plateforme OSF, mais après le début de la collecte, quand 17 participants avaient déjà commencé. C'est la deuxième étude maison d'Anthropic qu'on lit en onze jours, après celle sur ses agents et ses recrutements.

Celle-ci montre un défaut de son propre produit, et sert en même temps le discours du labo sur la sécurité de l'IA, sa marque de fabrique. La phrase la plus forte vient des auteurs : le travail sort toujours sous le nom de l'analyste, mais les décisions qui dépendent le plus de son jugement sont tranchées par les préférences de l'agent.