Quand l'humain qui surveille l'IA décroche

Quand l'humain qui surveille l'IA décroche

Un opérateur valide les sorties d'une intelligence artificielle. Au début, il fait du bon travail. Puis du travail correct. Et très vite, du mauvais travail. Ce n'est pas un détracteur de l'IA qui le dit. C'est Amazon.

Eric Brandwine, vice-président et ingénieur en chef de la division sécurité d'Amazon, l'a formulé sans détour au Register en juin 2026 : "Les humains ne sont pas très constants. L'humain dans la boucle n'est pas forcément l'étalon-or."

La phrase paraît anodine. Elle vise pourtant le pilier de toute la communication rassurante autour de l'IA.

Le garde-fou qu'on vend partout

"Ne vous inquiétez pas, il y a un humain qui valide." On entend cette phrase dès qu'une entreprise déploie un système automatisé sur un sujet sensible. Un diagnostic médical, une décision de crédit, une modération de contenu, un agent qui agit sur une infrastructure. Le human-in-the-loop, l'humain dans la boucle, est devenu l'argument réflexe pour faire passer l'automatisation.

C'est aussi le mot magique qui débloque les budgets et les autorisations. Un humain garde la main, donc le risque est tenu. Sauf que cet humain, à force de regarder défiler des sorties correctes, finit par ne plus regarder vraiment.

Brandwine s'appuie sur un concept qu'il développe depuis des années : la normalisation de la déviance. Quand les raccourcis ne provoquent rien de grave pendant assez longtemps, ils deviennent la nouvelle norme. Le superviseur qui approuve sans broncher cent décisions correctes approuvera la centunième de la même façon, y compris quand elle est mauvaise.

Un mécanisme connu depuis quarante ans

Le plus frappant, c'est que la recherche a documenté ce phénomène bien avant ChatGPT. Les spécialistes des facteurs humains lui ont même donné un nom : la complaisance d'automatisation.

Raja Parasuraman et Dietrich Manzey en ont signé la synthèse de référence en 2010, dans la revue Human Factors. Le constat tient en une phrase : plus un système paraît fiable, moins son opérateur le surveille. La fiabilité apparente sabote sa propre supervision. Un garde-fou qui marche bien neuf cent quatre-vingt-dix-neuf fois sur mille est précisément celui que personne ne regardera la millième.

Mica Endsley a décrit le versant aggravant dès 1995 : le problème de la sortie de boucle. L'opérateur qui ne fait que valider perd peu à peu sa conscience de la situation. Le jour où le système dérape, il est le moins bien placé pour reprendre la main, parce qu'il a décroché depuis longtemps. On lui demande d'être un filet de sécurité, mais on l'a installé dans la position exacte où il ne peut plus l'être.

L'aviation a appris ça à ses dépens. Des générations de pilotes ont fini par tellement faire confiance au pilote automatique qu'ils cessaient de vérifier son fonctionnement. Le rapport du MITRE sur la complaisance induite par l'automatisation se résume à un titre glaçant : "Rien ne peut mal tourner."

La voiture autonome rejoue la même partition

Pour qui veut une démonstration plus récente, la conduite assistée fait le travail. Les études en conditions réelles sur les conducteurs équipés d'aides au volant observent ce que les chercheurs appellent des comportements de passager. La voiture conduit si bien que le conducteur regarde ailleurs, parfois s'endort. La consigne reste pourtant la même : "restez attentif, prêt à reprendre le contrôle."

L'autorité américaine de sécurité routière a elle-même noté qu'un mode désactivant la surveillance du conducteur pouvait "mener à une plus grande inattention". On demande à un humain de surveiller en continu une machine qui réussit presque toujours. Biologiquement, c'est une consigne intenable. L'attention n'est pas un robinet qu'on laisse ouvert.

Le théâtre réglementaire

Et c'est là que l'affaire devient gênante. L'Europe a fait de la supervision humaine une obligation légale. L'article 14 du règlement sur l'IA impose que les systèmes à haut risque restent "effectivement supervisés par des personnes physiques."

Le texte est lucide, presque trop. Il demande explicitement que le superviseur reste conscient de sa "tendance à se reposer automatiquement ou à se reposer excessivement" sur la sortie de la machine. Le régulateur nomme noir sur blanc le biais qui ronge le garde-fou, puis impose quand même le garde-fou. On coche la case "supervision humaine" en sachant que la case ne tient pas toute seule.

Pour le vendeur d'IA, cette case est une aubaine. Elle transforme une faille structurelle en argument de conformité. "Un humain valide" devient une ligne dans un dossier d'audit, pas une protection mesurée sur le terrain. Le garde-fou existe sur le papier, ce qui suffit souvent à rassurer le client et le contrôleur.

Ce qu'Amazon propose, et ce qu'il évite de dire

Amazon ne se contente pas de pointer le problème. L'entreprise propose un déplacement : arrêter de prétendre qu'un humain valide chaque action, et tracer plutôt la responsabilité de bout en bout. Chaque agent reçoit une identité propre, chaque action est journalisée au nom d'un humain qui en répond, les permissions sont découpées finement. On ne demande plus à quelqu'un de regarder en permanence, on rend identifiable qui doit assumer.

C'est plus honnête. Ça ne résout pas tout. Tracer la responsabilité après coup, ce n'est pas empêcher l'erreur avant qu'elle parte. Et la solution arrange aussi un acteur qui vend de l'IA à grande échelle : moins d'humains dans la boucle, c'est moins de friction et plus d'automatisation déployable.

On retrouve un cousin du problème qu'on observait déjà côté individuel, quand l'esprit critique s'érode à force de déléguer son jugement à un chatbot. Ici, ce n'est pas une réflexion solitaire qui s'affaisse, c'est le filet collectif censé protéger tout le monde. Le même ressort : une vigilance qu'on présume permanente et qui ne l'est jamais.

La question de fond reste ouverte, et elle n'a rien de confortable. Si l'attention humaine décroche par construction, alors "ajouter un humain dans la boucle" relève parfois du décor plus que de la protection. Et un décor ne protège personne. Il rassure seulement ceux qui le regardent de loin.