La police australienne annonce 9 erreurs sur 1,4 million de visages

Cinq mois de camionnettes

1 380 882 visages scannés, 9 fausses alertes. C'est le bilan que la police d'Australie-Occidentale a publié après la fin de son essai de reconnaissance faciale en temps réel, le samedi 31 octobre. Pendant cinq mois, des camionnettes de police équipées de caméras ont fait 100 sorties sur 43 sites, de Perth à Geraldton, jusqu'à la grande foire agricole de Perth. Chaque visage était comparé à une liste de personnes recherchées.

Neuf erreurs sur 1 380 882, cela donne 0,00065 %. La police l'écrit sur sa page officielle, mise à jour le 2 novembre, et elle en tire une conclusion : ce taux traduirait « un haut niveau de précision du système ». Le point d'étape du 6 octobre disait déjà la même chose, avec la même formule, à 0,0009 %.

Le chiffre est exact. Mais il existe une seconde division, qu'on n'a trouvée dans aucune des reprises lues.

Ce qu'en ont fait les reprises

Le Guardian a publié le bilan le 2 novembre. Son article attribue le taux à un porte-parole de la police et nomme honnêtement sa base : neuf alertes fausses rapportées aux 1,38 million de scans. Il donne aussi la parole aux critiques. Bill Rowlings, de Civil Liberties Australia, accuse la police d'enjoliver le tableau. Sarah Schwartz, du Human Rights Law Centre, rappelle que chaque fausse correspondance est une personne réelle, qui peut être interpellée, interrogée ou visée par une enquête.

IDTechWire, un site spécialisé dans l'identité numérique, fait de même : il présente le taux comme celui qu'annonce la police. Au point d'étape, le même site était allé plus loin, en précisant que le taux se calculait sur l'ensemble des visages scannés.

Le travail de base est fait. Mais dans tous les articles qu'on a lus, il manque le même nombre. La critique qui circule, celle de Civil Liberties Australia, propose un autre calcul : attendre de voir combien des 122 personnes arrêtées seront condamnées. C'est une vraie question, mais elle mélange deux choses, la machine qui reconnaît un visage et le tribunal qui juge un dossier.

Neuf sur 292

Le nombre manquant est dans la même phrase du bilan officiel : la police écrit que le système a généré 292 alertes, dont les 9 incorrectes. Aucune des reprises qu'on a lues ne le cite.

Or 9 sur 292, cela fait 3,1 %. Une alerte sur 32.

Les deux chiffres sont vrais. Ils ne répondent pas à la même question.

Prends un chien renifleur dans un aéroport. Il voit passer des milliers de voyageurs par jour, et il s'assoit devant une valise de temps en temps. Si on compte ses erreurs sur tous les voyageurs qui sont passés devant lui, il est presque infaillible. Le douanier, lui, ne s'intéresse qu'aux fois où le chien s'assoit : c'est à ce moment-là qu'il doit décider s'il ouvre la valise.

Le 0,00065 % est le chiffre du voyageur. Le 3,1 % est celui de l'agent qui reçoit l'alerte sur sa tablette, et c'est lui qui va aborder quelqu'un dans la rue.

Un choix inscrit dans le tableur

Ce dénominateur ne doit rien au hasard d'un communiqué. La police publie aussi un tableau par district, établi le 12 octobre, qui couvre l'essai jusqu'au 11 octobre. Sa colonne « taux d'erreur » est calculée sur les visages vus. Le choix est fait dans l'outil de suivi lui-même.

Le tableau donne un exemple parlant. À Cannington, dans la banlieue de Perth, sur les quatre semaines qui vont de la mi-août à la mi-septembre, le système a lancé cinq alertes, dont une fausse. Taux affiché : 0,0088 %. Une alerte sur cinq était fausse, et le tableur affiche un taux qui frôle zéro.

Ce que le 0,00065 % dit vraiment

Il ne faut pas jeter le chiffre officiel. Pour un passant qui croise une camionnette, le risque d'être désigné à tort est très faible : environ une chance sur 150 000 par visage scanné. C'est une information utile, et c'est même la bonne réponse à la question que se pose un habitant de Perth en voyant la camionnette.

D'après le Guardian, le commissaire Col Blanch a précisé en conférence de presse qu'aucune des neuf personnes visées à tort n'avait été arrêtée, et qu'aucune n'avait porté plainte. Les agents les ont abordées et leur ont posé des questions. La page officielle le rappelle à sa manière : une alerte ne suffit pas, à elle seule, pour arrêter quelqu'un.

Ce qui ne suit pas, c'est la conclusion. Un taux calculé sur des passants dit peu de chose de la précision du système, parce que la quasi-totalité des passants ne sont pas sur la liste. Il dit surtout que la machine se tait la plupart du temps.

Les alertes que personne n'a vérifiées

Le tableau du 12 octobre contient une colonne de plus, que le bilan final ne reprend pas : les alertes « non confirmées », quand l'agent n'a pas abordé la personne. Au 11 octobre, on en comptait 34 sur 252, soit 13,5 %. Ces alertes-là ne sont ni justes ni fausses : personne n'est allé voir.

Le 3,1 % compte donc comme bonnes toutes les alertes qui ne sont pas déclarées fausses, y compris celles qu'on n'a pas vérifiées. C'est un peu comme compter juste chaque copie qu'on n'a pas corrigée : on obtient un plancher, pas une mesure. Le bilan final ne dit pas combien d'alertes non confirmées il reste sur les 292.

Et une dernière question reste sans réponse, faute de données : combien de personnes recherchées sont passées devant les caméras sans être reconnues ? Le système efface aussitôt les visages qui ne correspondent à rien, c'est la garantie qu'il offre pour la vie privée. Il ne peut donc pas compter ce qu'il a manqué.

Une évaluation qui commence

Les camionnettes sont retirées le temps d'une évaluation interne, qui doit porter, selon la police, sur la performance du système, son efficacité, son effet sur la population et le respect des règles. Dès la première semaine, Col Blanch disait devant la presse, selon l'agence AAP, que ses homologues des autres États suivaient l'essai de près. En France, la question se pose pour l'instant par les fichiers de police, comme avec le projet de Gérald Darmanin sur le fichier TAJ.

Cette évaluation dira peut-être lequel des deux chiffres compte. En attendant, le choix est déjà fait dans la colonne du tableur : on y divise les erreurs par les gens qu'on rassure, et pas par ceux qu'on aborde dans la rue.