Australische Polizei meldet 9 Fehler bei 1,4 Millionen Gesichtern

Fünf Monate Einsatzfahrzeuge

1.380.882 gescannte Gesichter, 9 Fehlalarme. Diese Bilanz hat die Polizei von Westaustralien nach dem Ende ihres Tests zur Gesichtserkennung in Echtzeit veröffentlicht, am Samstag, dem 31. Oktober. Fünf Monate lang fuhren Polizeifahrzeuge mit Kameras bei 100 Einsätzen an 43 Orten vor, von Perth bis Geraldton, bis hin zur großen Landwirtschaftsmesse von Perth. Jedes Gesicht wurde mit einer Liste gesuchter Personen abgeglichen.

Neun Fehler bei 1.380.882 Gesichtern ergeben 0,00065 %. Die Polizei nennt diese Zahl auf ihrer offiziellen Seite, zuletzt aktualisiert am 2. November, und zieht einen Schluss daraus: Sie zeige „ein hohes Maß an Systemgenauigkeit“ (aus dem englischen Text der Seite übersetzt). Schon die Zwischenbilanz vom 6. Oktober sagte mit derselben Formel dasselbe, damals bei 0,0009 %.

Die Zahl stimmt. Doch es gibt eine zweite Division, die wir in keinem der Berichte gefunden haben, die wir gelesen haben.

Was die Berichte daraus machten

Der Guardian veröffentlichte die Bilanz am 2. November. Er schreibt die Quote einem Polizeisprecher zu und nennt ihre Bezugsgröße offen: neun Fehlalarme im Verhältnis zu den 1,38 Millionen Scans. Er lässt auch Kritiker zu Wort kommen. Bill Rowlings von Civil Liberties Australia wirft der Polizei vor, das Bild zu beschönigen. Sarah Schwartz vom Human Rights Law Centre erinnert daran, dass hinter jedem falschen Treffer ein realer Mensch steht, der angehalten, befragt oder zum Gegenstand von Ermittlungen werden kann.

IDTechWire, ein Fachportal für digitale Identität, geht ähnlich vor und gibt die Quote als die an, die die Polizei nennt. Bei der Zwischenbilanz war dasselbe Portal noch weiter gegangen und hatte klargestellt, dass sich die Quote auf alle gescannten Gesichter bezieht.

Die Grundlagenarbeit ist also gemacht. Aber in allen Artikeln, die wir gelesen haben, fehlt dieselbe Zahl. Die Kritik, die kursiert, nämlich die von Civil Liberties Australia, schlägt eine andere Rechnung vor: abwarten, wie viele der 122 Festgenommenen am Ende verurteilt werden. Das ist eine berechtigte Frage, vermengt aber zwei Dinge: die Maschine, die ein Gesicht erkennt, und das Gericht, das einen Fall beurteilt.

Neun von 292

Die fehlende Zahl steht im selben Satz der offiziellen Bilanz: Die Polizei schreibt, das System habe 292 Alarme ausgelöst, darunter die 9 fehlerhaften. In keinem der Berichte, die wir gelesen haben, wird sie genannt.

Neun von 292 sind 3,1 %. Einer von 32 Alarmen.

Beide Zahlen sind richtig. Sie beantworten nur nicht dieselbe Frage.

Stellen Sie sich einen Spürhund am Flughafen vor. Täglich laufen Tausende Reisende an ihm vorbei, und nur gelegentlich setzt er sich vor einen Koffer. Rechnet man seine Fehler auf alle Reisenden um, die an ihm vorbeigekommen sind, ist er nahezu unfehlbar. Der Zollbeamte interessiert sich aber nur für die Momente, in denen sich der Hund setzt: Dann muss er entscheiden, ob er den Koffer öffnet.

Die 0,00065 % sind die Zahl des Reisenden. Die 3,1 % sind die des Beamten, der den Alarm auf seinem Tablet bekommt und danach jemanden auf der Straße anspricht.

Eine Entscheidung in der Tabelle

Dieser Nenner ist kein Zufall der Pressemitteilung. Die Polizei veröffentlicht auch eine Tabelle nach Bezirken, erstellt am 12. Oktober, die den Test bis zum 11. Oktober abdeckt. Ihre Spalte „Incorrect Rate %“ ist auf die gesehenen Gesichter bezogen. Die Entscheidung steckt im Erfassungswerkzeug selbst.

Die Tabelle liefert ein anschauliches Beispiel. In Cannington, einem Vorort von Perth, löste das System in den vier Wochen, die sich ungefähr von Mitte August bis Mitte September erstrecken, fünf Alarme aus, einer davon falsch. Ausgewiesene Quote: 0,0088 %. Jeder fünfte Alarm war falsch, und die Tabelle zeigt eine Quote nahe null.

Was die 0,00065 % tatsächlich sagen

Die offizielle Zahl ist nicht wertlos. Für einen Passanten, der an einem Einsatzfahrzeug vorbeigeht, ist das Risiko, zu Unrecht markiert zu werden, sehr gering: etwa eins zu 150.000 pro gescanntem Gesicht. Das ist eine nützliche Information, und es ist genau die richtige Antwort auf die Frage, die sich ein Einwohner von Perth beim Anblick des Fahrzeugs stellt.

Dem Guardian zufolge sagte Kommissar Col Blanch auf der Pressekonferenz, keiner der neun zu Unrecht ins Visier genommenen Menschen sei festgenommen worden, und keiner habe sich beschwert. Die Beamten sprachen sie an und stellten ihnen Fragen. Die offizielle Seite erinnert auf ihre Weise daran: Ein Alarm allein ist kein Grund für eine Festnahme.

Was daraus nicht folgt, ist der Schluss auf die Treffsicherheit. Eine auf Passanten bezogene Quote sagt wenig über die Genauigkeit des Systems, denn fast alle Passanten stehen gar nicht auf der Liste. Sie sagt vor allem, dass die Maschine meistens schweigt.

Die Alarme, die niemand überprüft hat

Die Tabelle vom 12. Oktober enthält eine weitere Spalte, die die Abschlussbilanz nicht übernimmt: die nicht bestätigten Alarme, bei denen die Beamten die Person nicht angesprochen haben (in der Tabelle als „Unconfirmed“ geführt). Am 11. Oktober waren es 34 von 252 Alarmen, also 13,5 %. Diese Alarme sind weder richtig noch falsch: Niemand hat nachgesehen.

Die 3,1 % zählen also jeden Alarm als richtig, der nicht als falsch gemeldet wurde, auch die ungeprüften. Das ist, als würde man jede Klausur, die man nicht korrigiert hat, als bestanden werten: Man erhält eine Untergrenze, keine Messung. Wie viele nicht bestätigte Alarme unter den 292 verbleiben, sagt die Abschlussbilanz nicht.

Und eine letzte Frage bleibt mangels Daten offen: Wie viele gesuchte Personen gingen unerkannt an den Kameras vorbei? Das System löscht Gesichter, die zu nichts passen, sofort; das ist seine Zusage an den Datenschutz. Was es verpasst hat, kann es deshalb nicht zählen.

Eine Auswertung beginnt

Die Fahrzeuge sind für eine interne Auswertung abgezogen, die laut Polizei Leistung, Wirksamkeit, Auswirkungen auf die Bevölkerung und Regeltreue des Systems untersuchen soll. Schon in der ersten Woche sagte Col Blanch vor der Presse, so die Nachrichtenagentur AAP, seine Amtskollegen in den anderen Bundesstaaten verfolgten den Test aufmerksam. In Frankreich stellt sich die Frage vorerst über die Polizeidateien, etwa beim Vorhaben von Gérald Darmanin zur Datei TAJ.

Diese Auswertung wird vielleicht zeigen, welche der beiden Zahlen zählt. Bis dahin ist die Entscheidung in der Tabellenspalte schon gefallen: Man teilt die Fehler durch die Menschen, die man beruhigt, und nicht durch die, die man auf der Straße anspricht.