• IT-Karriere:
  • Services:

Informationsfreiheitsbeauftragte: Algorithmen für Behörden müssen diskriminierungsfrei sein

Informationsfreiheitsbeauftragte von Bund und Ländern drängen auf eine stärkere Kontrolle von Algorithmen und künstlicher Intelligenz (KI) in der Verwaltung. An die Auswahl und die Entwicklung solcher Verfahren müssten hohe Anforderungen gestellt werden.

Artikel von Stefan Krempl veröffentlicht am
Entscheidungen werden in Ämtern zunehmend ohne menschliche Beteiligung vorbereitet oder getroffen.
Entscheidungen werden in Ämtern zunehmend ohne menschliche Beteiligung vorbereitet oder getroffen. (Bild: Pixnio.com)

Der Trend zum Einsatz von Algorithmen und Formen künstlicher Intelligenz macht auch vor Amtsstuben nicht halt. Zunehmend werden Entscheidungen der öffentlichen Verwaltung durch automatisierte Datenverarbeitungsvorgänge mit Hilfe einschlägiger "smarter" Verfahren vorbereitet oder sogar getroffen. Beispiele sind Berechtigungs- oder Stimmigkeitsprüfungen im Finanzamt, bei Jobagenturen oder der Studienplatzvergabe über Prozesse zur Planung von Verkehrswegen bis hin zur Kriminalitätsvorhersage per Predictive Policing.

Stellenmarkt
  1. Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB, Karlsruhe
  2. dmTECH GmbH, Karlsruhe

Den Informationsfreiheitsbeauftragten des Bundes sowie der Länder Baden-Württemberg, Berlin, Bremen, Mecklenburg-Vorpommern, Rheinland-Pfalz, Sachsen-Anhalt, Schleswig-Holstein und Thüringen ist dieser Kurs nicht ganz geheuer. Sie haben daher Mitte Oktober bei ihrem Treffen in Ulm ein Positionspapier beschlossen, mit dem sie eine stärkere Transparenz bei der Implementierung von Algorithmen in der Verwaltung im Interesse eines "gelebten Grundrechtsschutzes" als unabdingbar bezeichnen.

Automatisierte Analyseinstrumente und KI könnten zwar Effizienzsteigerungen bewirken und Auswertungen großer Datenmengen erleichtern beziehungsweise überhaupt erst ermöglichen, schreiben die unabhängigen Kontrolleure. Die Verwaltung trage aber eine hohe Verantwortung, derlei Werkzeuge nur rechtmäßig zu verwenden. Sie sei dabei den Grundwerten "in besonderer Weise verpflichtet", um das Vertrauen der Bürger zu erhalten. Die Experten unterstreichen: "Elementar sind in diesem Zusammenhang die Beachtung der Menschenwürde und des Diskriminierungsverbots". Ähnlich hatte sich zuvor Ex-Bundesjustizminister Heiko Maas (SPD) geäußert.

Entscheidungen müssen nachvollziehbar sein

Ein großes Problem ist laut der Analyse in diesem Zusammenhang, dass Algorithmen und KI derzeit "meist völlig intransparent funktionieren". Mit welchen Kriterien und Wertvorstellungen sie "gefüttert" würden und inwieweit die erzielten Ergebnisse dem Grundsatz der Gesetzmäßigkeit entsprächen, könnten die Betroffenen in aller Regel nicht erkennen. Die genutzten Verfahren müssten daher durchsichtig gemacht werden, damit sowohl die Bürger als auch die Verwaltungsmitarbeiter selbst das Zustandekommen der Entscheidungen nachvollziehen könnten. Errechnete Ergebnisse sollten "vorhersehbar und nachvollziehbar sein", gleichartige Eingaben in ein System zu gleichartigen Ausgaben führen.

Die beteiligten Informationsfreiheitsbeauftragten fordern daher den Bundes- sowie die Landesgesetzgeber auf, "öffentliche Stellen noch konsequenter als bislang zu einem transparenten, verantwortungsvollen Einsatz von Algorithmen und KI-Verfahren zu verpflichten". Konkret müssten Ämter prüfen, inwieweit derlei Operationen überhaupt grundrechtskonform implementiert werden könnten. Ergäben sich dabei Zweifel, dass die Technik ausreichend nachvollzieh-, überprüf- und beherrschbar sei, dürfe sie nicht verwendet werden.

Öffentliche Stellen bräuchten aussagekräftige, umfassende und allgemein verständliche Informationen rund um die eigenen Datenverarbeitungen, heißt es in dem Dokument. Bekannt sein müssten etwa die Kategorien der Ein- und Ausgabedaten des Verfahrens, die darin enthaltene Logik insbesondere zur Gewichtung der eingespielten Werte sowie die Konfiguration des Systems. Erkennbar werden sollten auf diese Weise die Tragweite der ausgelösten Entscheidungen und die möglichen Auswirkungen. Soweit rechtlich möglich, seien all diese Parameter auch zu veröffentlichen. Ähnliche Vorschriften hat der Gesetzgeber bisher allenfalls für das Scoring zur Bonitätsprüfung verabschiedet.

Plädoyer für "Transparency by Design"

Die Transparenzanforderungen müssten schon bei der Programmierung in die Technik eingebaut werden, plädieren die auch für den Datenschutz zuständigen Beauftragten für das Prinzip "Transparency by Design". Die berechneten Ausgabedaten sollten dabei jeweils um die Informationen ergänzt werden, welcher Input oder welche Bewertungen besonders relevant für das Ergebnis gewesen seien. Entsprechende Evaluierungswerkzeuge seien vor allem bei selbstlernenden Systemen geboten.

Die Abläufe und wesentlichen Parameter eines algorithmischen Verfahrens sind den Prüfern zufolge unerlässlich, um dessen Sicherheit und Vertrauenswürdigkeit zu schützen und etwaige Manipulationen zuverlässig erkennen zu können. Einschlägige Maßnahmen müssten regelmäßig evaluiert und einer Qualitätskontrolle unterzogen werden. Um eine umfassende Überprüfbarkeit zu gewährleisten, sollten den jeweiligen öffentlichen Stellen auch der Quelltext und gegebenenfalls andere relevante Informationen zur Verfügung gestellt und ebenfalls möglichst publiziert werden.

Für einfache Widerspruchsmöglichkeiten oder sogar Rückabwicklungen automatisiert getroffener Entscheidungen machen sich die Kontrolleure ebenfalls stark. Algorithmen dürfen dem Papier nach "unter keinen Umständen eine diskriminierende Wirkung entfalten". Daher müssten hohe Anforderungen etwa an die Auswahl von Trainingsdaten oder Bewertungsfunktionen gestellt werden. Bei hohen Risiken für die Bürger sei vorab eine Folgenabschätzung durchzuführen, in besonders sensiblen Anwendungsbereichen eine Abnahme der Technik durch eine Art "Algorithmen-TÜV" zu verlangen.

New York vorne dran

Die Verwaltung sehen die Beauftragten so insgesamt als Vorreiter bei transparenten und kontrollierbaren KI-Systemen. Ihre Initiative geht aber deutlich weiter: Sie sehen den Gesetzgeber letztlich dazu angehalten, "entsprechende Vorgaben auch für die Privatwirtschaft zu normieren". Die Bundesregierung will auf diesem Sektor aber zunächst die Ergebnisse der von ihr beziehungsweise dem Bundestag eingesetzten Kommissionen für Datenethik sowie KI abwarten.

Andere Regionen sind da schon weiter. So hat etwa der Stadtrat von New York voriges Jahr ein Gesetz verabschiedet, mit dem die automatisierte Entscheidungsfindung in Behörden zurechnungsfähiger werden soll. Die US-Metropole soll demnach nur noch auf diskriminierungsfreie Algorithmen in der Verwaltung setzen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Top-Angebote
  1. 213,47€ (Bestpreis mit Saturn)
  2. (u. a. Crucial P2 250GB NVMe für 42,99€, Crucial Ballistix Sport 8GB (4GB x2) Speicher Kit DDR3...
  3. (aktuell u. a. Crucial MX 500 1TB für 98,45€ (mit Direktabzug - Bestpreis!), WD Blue SN550 1TB...
  4. (u. a. TT Isle of Man - Ride on the Edge 2 für 27,99€, Zombie Night Terror für 1,20€, Anno...

ibito 23. Okt 2018

Thema Algorithmus - ich würde mit Ibikli Code die Daten verschlüsseln. Beispiel...

Anonymer Nutzer 22. Okt 2018

Der Algorithmus ist nicht das Problem. Das Problem ist entweder das womit ich diesen...

Iruwen 22. Okt 2018

Vorzugsweise kein Schwarzer, außer es geht um Gebäudereinigung, Müllabfuhr oder...

Iruwen 22. Okt 2018

https://de.wikipedia.org/wiki/T%C3%B6tungsrate_nach_L%C3%A4ndern Irgendwas läuft in...

aLpenbog 22. Okt 2018

Wir sollen entsprechende Netze also mit falschen Daten füttern, um ein gewünschtes...


Folgen Sie uns
       


Zhaxoin ZX-U6780U - Fazit

Wir testen den ZX-U6780U von Zhaxoin, einen achtkernigen x86-Prozessor aus China, der im 16-nm-Verfahren gefertigt wird. Die x86-Lizenz stammt von Centaur, einer Tochter von Via Technologies.

Zhaxoin ZX-U6780U - Fazit Video aufrufen
Kryptographie: Die europäische Geheimdienst-Allianz Maximator
Kryptographie
Die europäische Geheimdienst-Allianz Maximator

Mit der Maximator-Allianz haben fünf europäische Länder einen Gegenpart zu den angelsächsischen Five Eyes geschaffen.
Ein Bericht von Christiane Schulzki-Haddouti

  1. Security Bundestagshacker kopierten Mails aus Merkels Büro
  2. Trumps Smoking Gun Vodafone und Telefónica haben keine Huawei-Hintertür
  3. Sicherheitsforscher Daten durch Änderung der Bildschirmhelligkeit ausleiten

Echo Auto im Test: Tolle Sprachsteuerung und neue Alexa-Funktionen
Echo Auto im Test
Tolle Sprachsteuerung und neue Alexa-Funktionen

Im Auto ist die Alexa-Sprachsteuerung noch praktischer als daheim. Amazon hat bei Echo Auto die wichtigsten Einsatzzwecke im Fahrzeug bedacht.
Ein Test von Ingo Pakalski

  1. Echo Auto Amazon bringt Alexa für 60 Euro ins Auto
  2. Echo Flex mit zwei Modulen im Test Gut gedacht, mäßig gemacht
  3. Amazon Zahlreiche Echo-Modelle nicht mehr bis Weihnachten lieferbar

PC-Hardware: Das kann DDR5-Arbeitsspeicher
PC-Hardware
Das kann DDR5-Arbeitsspeicher

Vierfache Kapazität, doppelte Geschwindigkeit: Ein Überblick zum DDR5-Speicher für Server und Desktop-PCs.
Ein Bericht von Marc Sauter


      •  /