Falsche Annahmen zur Fehlerrate

Der Stellungnahme zufolge wurden für den Test nur solche Aufnahmesituationen ausgewertet, die zuvor durch die Bluetooth-Transponder ausgelöst worden waren. "So werden hier nicht etwa alle durch die Kamera erfassten Gesichter der Menschen analysiert, sondern ausweislich des Berichtes nur diejenigen, die zufälligerweise zu dem Zeitpunkt aufgenommen wurden, wenn eine der Testpersonen neben ihnen auf der Rolltreppe stand oder im Bahnhof ging und damit das System durch den Transponder aktivierte", heißt es. Die realen Zahlen der fälschlichen Erkennung lägen daher "nochmals um ein Vielfaches höher als der in dem Bericht ausgegebene Wert". Das trifft jedoch nicht zu.

Stellenmarkt
  1. IT-Anwendungsbetreuer (m/w/d), Schwerpunkt ERP-System
    Polymer-Technik Elbe, Wittenberg
  2. Chief Product Owner Customer Happiness lexoffice (m/w/d)
    Haufe Group, Freiburg
Detailsuche

Denn die Transponder-Daten dienten dazu, die Trefferquote zu ermitteln. Für die Fehlerrate wurden hingegen alle Aufnahmen in dem betreffenden Untersuchungszeitraum ausgewertet. So gab es dem Bericht zufolge in den zwölf Monaten 61.000 Transponder-Events, von denen 12.000 Datensätze mit einem Treffer beziehungsweise Nicht-Treffer ausgewertet wurden. Daneben wurden 11.300 Datensätze mit Falsch-Treffern, die in den Testwochen registriert wurden, für den Bericht ausgewertet. Hätten sich die Falsch-Treffer nur bei den ausgewerteten Transponder-Events ereignet, wäre die Fehlerrate exorbitant hoch.

Schlechteste Fehlerrate wird genommen

Die Auswahl des Untersuchungszeitraums beantwortet dabei die vom CCC gestellte Frage, warum von den 41.000 gespeicherten Transponder-Events der ersten Testphase nur 6.000 ausgewählt wurden. "Um den Validierungsaufwand zu reduzieren, wurde bei der Auswertung der einzelnen Messwiederholungen (analog zur Auswahl der Probandinnen und Probanden) eine Stichprobe der insgesamt aufgezeichneten Daten gewählt." Pro Kalendermonat gab es demnach eine Messwoche mit sieben aufeinanderfolgenden Tagen. Nach Ansicht des CCC eröffnet dieses Vorgehen die Möglichkeit, nur die Testwochen mit den besten Ergebnissen auszuwerten.

Mit Blick auf die Falschtreffer blendet der CCC ebenfalls eine wichtige Erkenntnis der Studie aus. So räumt die Polizei selbst ein, dass nur eine Kombination der beiden besten Systeme in Testphase 2 eine einigermaßen akzeptable Fehlerrate von 0,00018 Prozent möglich macht. Der CCC geht hingegen nur auf die durchschnittliche Fehlerrate ein, wenn alle drei Testsysteme der ersten Testphase addiert werden. Diese Rate ist jedoch mit 0,67 Prozent fast 4.000-mal größer als bei einer UND-Verknüpfung beider Systeme der zweiten Testphase. Da der CCC die Testphase 2 prinzipiell ablehnt, werden deren Ergebnisse auch in diesem Punkt ignoriert.

Stellungnahme erweckt gefährlichen Eindruck

Golem Akademie
  1. Microsoft 365 Security Workshop
    9.-11. Juni 2021, Online
  2. Penetration Testing Fundamentals
    23.-24. September 2021, online
Weitere IT-Trainings

Die Stellungnahme des CCC erinnert daher ein wenig an die Kritik des Vereins Digitalcourage, der im August 2017 über eine angeblich datenschutzwidrige Ausstattung der Transponder informiert hatte. Damals wollte Digitalcourage das Testprojekt über den Umweg der Transponder stoppen.

Das Anliegen des CCC ist in diesem Fall: Weil sämtliche Ergebnisse der zweiten Testphase "geschönt" sind und damit "absichtlich und unzulässig die Erkennungsraten manipuliert" wurden, kann das Pilotprojekt in der politischen Debatte nicht verwendet werden, um den Einsatz automatisierter Gesichtserkennungssysteme zu forcieren. Damit wird allerdings der Eindruck erweckt, die automatisierte Videoüberwachung sollte deswegen nicht eingesetzt werden, weil die Systeme noch nicht ausgereift genug sind. Die Politik wird sich ohnehin nicht davon abbringen lassen, die Ergebnisse der zweiten Phase in der Debatte anzuführen.

Fehlerrate entscheidender als Trefferrate

Aus der Sicht der Polizei spielt es ohnehin keine Rolle, ob die Erkennungsrate am Ende bei 60 oder 80 Prozent liegt. So heißt es in der polizeifachlichen Bewertung der Testergebnisse: "Nach 20 Minuten Monitorbeobachtung sinkt bereits die menschliche Aufmerksamkeit für Videodetails und beeinträchtigt den Mehrwert von Videoüberwachung in signifikanter Weise. Weiter kann das menschliche Auge lediglich eine begrenzte Anzahl von gleichzeitig auf einem einzelnen Monitor dargestellten Videobildern überwachen." Die durchschnittliche Trefferrate bei einer UND-Verknüpfung wird in dem Bericht als "sehr gute 68,1 Prozent" bezeichnet.

Für den Polizeialltag dürften sich zu hohe Fehlerraten eher als Problem erweisen. Wenn an einem großen Bahnhof nur fünfmal am Tag Fehlalarm ausgelöst wird und unbescholtene Bürger mit Terrorverdächtigen verwechselt werden, dürfte die Akzeptanz der Systeme in der Öffentlichkeit und selbst bei der Polizei stark abnehmen. Zudem dürfte die Fehlerrate noch steigen, wenn mehrere Hundert Verdächtige in die Datenbank eingespeist werden. Bei einem flächendeckenden Ausrollen des Systems könnte es bundesweit dann täglich zu Dutzenden oder mehr Fehlalarmen kommen.

Das Grundproblem an der Gesichtserkennung ist jedoch ein völlig anderes. So sagt CCC-Sprecher Dirk Engling selbst: "Wenn ein System der biometrischen Personenüberwachung aber tatsächlich eingesetzt werden sollte, genügen solche Versuche ohnehin nicht. Dann müsste man besser vorher darüber sprechen, ob es gesellschaftlich wünschenswert und überhaupt rechtlich möglich ist, von jedem Vorbeilaufenden biometrische Merkmale zu verarbeiten." Stattdessen erweckt die Stellungnahme den Eindruck, dass biometrische Überwachungssysteme umso eher eingesetzt werden sollten, je besser sie funktionieren. Aus Sicht von Datenschützern und Bürgerrechtlerin ist es jedoch ein Alptraum, wenn es einmal Überwachungssysteme geben sollte, die sogar den technischen Ansprüchen des CCC genügen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Gesichtserkennung: Die radikale Kritik des CCC am Pilotprojekt Südkreuz
  1.  
  2. 1
  3. 2


Aktuell auf der Startseite von Golem.de
Hubble
Uralttechnik ohne Ersatz versagt im Orbit

Das Hubble-Teleskop ist außer Betrieb. Die Speicherbänke aus den 1980er Jahren lassen sich nicht mit der CPU von 1974 ansprechen, die auf einer Platine zusammengelötet wurde.
Von Frank Wunderlich-Pfeiffer

Hubble: Uralttechnik ohne Ersatz versagt im Orbit
Artikel
  1. Batteriezellfabrik: Porsche will Hochleistungsakkus mit Silizium-Anoden bauen
    Batteriezellfabrik
    Porsche will Hochleistungsakkus mit Silizium-Anoden bauen

    Akkus für nur 1.000 Elektroautos im Jahr will Porsche mit der neuen Tochterfirma Cellforce bauen. Vor allem für den Motorsport.

  2. Pornografie: Hostprovider soll Xhamster sperren
    Pornografie
    Hostprovider soll Xhamster sperren

    Medienwächter haben den Hostprovider von Xhamster ausfindig gemacht. Dieser soll das Pornoportal für deutsche Nutzer sperren.

  3. SSDs und Monitore zum Knallerpreis beim Amazon Prime Day
     
    SSDs und Monitore zum Knallerpreis beim Amazon Prime Day

    Wer auf der Suche nach neuer Hardware ist, sollte den Prime Day von Amazon nutzen. Hier warten Rabatte auf alle möglichen Artikel.
    Ausgewählte Angebote des E-Commerce-Teams

SuriViruS 25. Nov 2018

Hier geht es um greifbare Steuergelder und Selbst·be·weih·räu·che·rung (Danke google) der...

Lanski 23. Okt 2018

Gut, dann bitte jetzt noch die Diagnose für die Kennzeichen F, H und K. Wenn schon am...

conker 18. Okt 2018

Der OP hat vollkommen Recht. Uns wird hier wieder für minimal mehr "Sicherheit" ein...

fg (Golem.de) 18. Okt 2018

Hallo! Wir schließen gar nicht aus, dass Aufnahmen aus anderen Bahnhöfen zu schlechteren...

Cok3.Zer0 17. Okt 2018

Nicht einmal die Linken verstehen es. Es geht ja nur um die Unschuldsvermutung. Sie sind...


Folgen Sie uns
       


  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Schnäppchen • Amazon Prime Day • SSDs (u. a. Crucial MX500 1TB 75,04€) • Gaming-Monitore • RAM von Crucial • Fire TV Stick 4K 28,99€/Lite 18,99€ • Bosch Professional • Dualsense + Pulse 3D Headset 139,99€ • Gaming-Chairs von Razer uvm. • HyperX Cloud II 51,29€ • iPhone 12 128GB 769€ • TV OLED & QLED [Werbung]
    •  /