• IT-Karriere:
  • Services:

Falsche Annahmen zur Fehlerrate

Der Stellungnahme zufolge wurden für den Test nur solche Aufnahmesituationen ausgewertet, die zuvor durch die Bluetooth-Transponder ausgelöst worden waren. "So werden hier nicht etwa alle durch die Kamera erfassten Gesichter der Menschen analysiert, sondern ausweislich des Berichtes nur diejenigen, die zufälligerweise zu dem Zeitpunkt aufgenommen wurden, wenn eine der Testpersonen neben ihnen auf der Rolltreppe stand oder im Bahnhof ging und damit das System durch den Transponder aktivierte", heißt es. Die realen Zahlen der fälschlichen Erkennung lägen daher "nochmals um ein Vielfaches höher als der in dem Bericht ausgegebene Wert". Das trifft jedoch nicht zu.

Stellenmarkt
  1. Hays AG, Rottweil
  2. Hays AG, Horb am Neckar

Denn die Transponder-Daten dienten dazu, die Trefferquote zu ermitteln. Für die Fehlerrate wurden hingegen alle Aufnahmen in dem betreffenden Untersuchungszeitraum ausgewertet. So gab es dem Bericht zufolge in den zwölf Monaten 61.000 Transponder-Events, von denen 12.000 Datensätze mit einem Treffer beziehungsweise Nicht-Treffer ausgewertet wurden. Daneben wurden 11.300 Datensätze mit Falsch-Treffern, die in den Testwochen registriert wurden, für den Bericht ausgewertet. Hätten sich die Falsch-Treffer nur bei den ausgewerteten Transponder-Events ereignet, wäre die Fehlerrate exorbitant hoch.

Schlechteste Fehlerrate wird genommen

Die Auswahl des Untersuchungszeitraums beantwortet dabei die vom CCC gestellte Frage, warum von den 41.000 gespeicherten Transponder-Events der ersten Testphase nur 6.000 ausgewählt wurden. "Um den Validierungsaufwand zu reduzieren, wurde bei der Auswertung der einzelnen Messwiederholungen (analog zur Auswahl der Probandinnen und Probanden) eine Stichprobe der insgesamt aufgezeichneten Daten gewählt." Pro Kalendermonat gab es demnach eine Messwoche mit sieben aufeinanderfolgenden Tagen. Nach Ansicht des CCC eröffnet dieses Vorgehen die Möglichkeit, nur die Testwochen mit den besten Ergebnissen auszuwerten.

Mit Blick auf die Falschtreffer blendet der CCC ebenfalls eine wichtige Erkenntnis der Studie aus. So räumt die Polizei selbst ein, dass nur eine Kombination der beiden besten Systeme in Testphase 2 eine einigermaßen akzeptable Fehlerrate von 0,00018 Prozent möglich macht. Der CCC geht hingegen nur auf die durchschnittliche Fehlerrate ein, wenn alle drei Testsysteme der ersten Testphase addiert werden. Diese Rate ist jedoch mit 0,67 Prozent fast 4.000-mal größer als bei einer UND-Verknüpfung beider Systeme der zweiten Testphase. Da der CCC die Testphase 2 prinzipiell ablehnt, werden deren Ergebnisse auch in diesem Punkt ignoriert.

Stellungnahme erweckt gefährlichen Eindruck

Die Stellungnahme des CCC erinnert daher ein wenig an die Kritik des Vereins Digitalcourage, der im August 2017 über eine angeblich datenschutzwidrige Ausstattung der Transponder informiert hatte. Damals wollte Digitalcourage das Testprojekt über den Umweg der Transponder stoppen.

Das Anliegen des CCC ist in diesem Fall: Weil sämtliche Ergebnisse der zweiten Testphase "geschönt" sind und damit "absichtlich und unzulässig die Erkennungsraten manipuliert" wurden, kann das Pilotprojekt in der politischen Debatte nicht verwendet werden, um den Einsatz automatisierter Gesichtserkennungssysteme zu forcieren. Damit wird allerdings der Eindruck erweckt, die automatisierte Videoüberwachung sollte deswegen nicht eingesetzt werden, weil die Systeme noch nicht ausgereift genug sind. Die Politik wird sich ohnehin nicht davon abbringen lassen, die Ergebnisse der zweiten Phase in der Debatte anzuführen.

Fehlerrate entscheidender als Trefferrate

Aus der Sicht der Polizei spielt es ohnehin keine Rolle, ob die Erkennungsrate am Ende bei 60 oder 80 Prozent liegt. So heißt es in der polizeifachlichen Bewertung der Testergebnisse: "Nach 20 Minuten Monitorbeobachtung sinkt bereits die menschliche Aufmerksamkeit für Videodetails und beeinträchtigt den Mehrwert von Videoüberwachung in signifikanter Weise. Weiter kann das menschliche Auge lediglich eine begrenzte Anzahl von gleichzeitig auf einem einzelnen Monitor dargestellten Videobildern überwachen." Die durchschnittliche Trefferrate bei einer UND-Verknüpfung wird in dem Bericht als "sehr gute 68,1 Prozent" bezeichnet.

Für den Polizeialltag dürften sich zu hohe Fehlerraten eher als Problem erweisen. Wenn an einem großen Bahnhof nur fünfmal am Tag Fehlalarm ausgelöst wird und unbescholtene Bürger mit Terrorverdächtigen verwechselt werden, dürfte die Akzeptanz der Systeme in der Öffentlichkeit und selbst bei der Polizei stark abnehmen. Zudem dürfte die Fehlerrate noch steigen, wenn mehrere Hundert Verdächtige in die Datenbank eingespeist werden. Bei einem flächendeckenden Ausrollen des Systems könnte es bundesweit dann täglich zu Dutzenden oder mehr Fehlalarmen kommen.

Das Grundproblem an der Gesichtserkennung ist jedoch ein völlig anderes. So sagt CCC-Sprecher Dirk Engling selbst: "Wenn ein System der biometrischen Personenüberwachung aber tatsächlich eingesetzt werden sollte, genügen solche Versuche ohnehin nicht. Dann müsste man besser vorher darüber sprechen, ob es gesellschaftlich wünschenswert und überhaupt rechtlich möglich ist, von jedem Vorbeilaufenden biometrische Merkmale zu verarbeiten." Stattdessen erweckt die Stellungnahme den Eindruck, dass biometrische Überwachungssysteme umso eher eingesetzt werden sollten, je besser sie funktionieren. Aus Sicht von Datenschützern und Bürgerrechtlerin ist es jedoch ein Alptraum, wenn es einmal Überwachungssysteme geben sollte, die sogar den technischen Ansprüchen des CCC genügen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Gesichtserkennung: Die radikale Kritik des CCC am Pilotprojekt Südkreuz
  1.  
  2. 1
  3. 2


Anzeige
Hardware-Angebote

SuriViruS 25. Nov 2018

Hier geht es um greifbare Steuergelder und Selbst·be·weih·räu·che·rung (Danke google) der...

Lanski 23. Okt 2018

Gut, dann bitte jetzt noch die Diagnose für die Kennzeichen F, H und K. Wenn schon am...

conker 18. Okt 2018

Der OP hat vollkommen Recht. Uns wird hier wieder für minimal mehr "Sicherheit" ein...

fg (Golem.de) 18. Okt 2018

Hallo! Wir schließen gar nicht aus, dass Aufnahmen aus anderen Bahnhöfen zu schlechteren...

Cok3.Zer0 17. Okt 2018

Nicht einmal die Linken verstehen es. Es geht ja nur um die Unschuldsvermutung. Sie sind...


Folgen Sie uns
       


Android Smartphone als Webcam nutzen - Tutorial

Wir erklären in einem kurzen Video, wie sich das Smartphone für Videokonferenzen unter Windows nutzen lässt.

Android Smartphone als Webcam nutzen - Tutorial Video aufrufen
    •  /