Informationsfreiheitsbeauftragte: Algorithmen für Behörden müssen diskriminierungsfrei sein

Informationsfreiheitsbeauftragte von Bund und Ländern drängen auf eine stärkere Kontrolle von Algorithmen und künstlicher Intelligenz (KI) in der Verwaltung. An die Auswahl und die Entwicklung solcher Verfahren müssten hohe Anforderungen gestellt werden.

Artikel von Stefan Krempl veröffentlicht am
Entscheidungen werden in Ämtern zunehmend ohne menschliche Beteiligung vorbereitet oder getroffen.
Entscheidungen werden in Ämtern zunehmend ohne menschliche Beteiligung vorbereitet oder getroffen. (Bild: Pixnio.com)

Der Trend zum Einsatz von Algorithmen und Formen künstlicher Intelligenz macht auch vor Amtsstuben nicht halt. Zunehmend werden Entscheidungen der öffentlichen Verwaltung durch automatisierte Datenverarbeitungsvorgänge mit Hilfe einschlägiger "smarter" Verfahren vorbereitet oder sogar getroffen. Beispiele sind Berechtigungs- oder Stimmigkeitsprüfungen im Finanzamt, bei Jobagenturen oder der Studienplatzvergabe über Prozesse zur Planung von Verkehrswegen bis hin zur Kriminalitätsvorhersage per Predictive Policing.

Stellenmarkt
  1. Help Desk Techniker (m/w/d)
    Scheidt & Bachmann System Service GmbH, Mönchengladbach
  2. Softwareentwickler MES (m/w/d)
    Hays AG, Dresden
Detailsuche

Den Informationsfreiheitsbeauftragten des Bundes sowie der Länder Baden-Württemberg, Berlin, Bremen, Mecklenburg-Vorpommern, Rheinland-Pfalz, Sachsen-Anhalt, Schleswig-Holstein und Thüringen ist dieser Kurs nicht ganz geheuer. Sie haben daher Mitte Oktober bei ihrem Treffen in Ulm ein Positionspapier beschlossen, mit dem sie eine stärkere Transparenz bei der Implementierung von Algorithmen in der Verwaltung im Interesse eines "gelebten Grundrechtsschutzes" als unabdingbar bezeichnen.

Automatisierte Analyseinstrumente und KI könnten zwar Effizienzsteigerungen bewirken und Auswertungen großer Datenmengen erleichtern beziehungsweise überhaupt erst ermöglichen, schreiben die unabhängigen Kontrolleure. Die Verwaltung trage aber eine hohe Verantwortung, derlei Werkzeuge nur rechtmäßig zu verwenden. Sie sei dabei den Grundwerten "in besonderer Weise verpflichtet", um das Vertrauen der Bürger zu erhalten. Die Experten unterstreichen: "Elementar sind in diesem Zusammenhang die Beachtung der Menschenwürde und des Diskriminierungsverbots". Ähnlich hatte sich zuvor Ex-Bundesjustizminister Heiko Maas (SPD) geäußert.

Entscheidungen müssen nachvollziehbar sein

Ein großes Problem ist laut der Analyse in diesem Zusammenhang, dass Algorithmen und KI derzeit "meist völlig intransparent funktionieren". Mit welchen Kriterien und Wertvorstellungen sie "gefüttert" würden und inwieweit die erzielten Ergebnisse dem Grundsatz der Gesetzmäßigkeit entsprächen, könnten die Betroffenen in aller Regel nicht erkennen. Die genutzten Verfahren müssten daher durchsichtig gemacht werden, damit sowohl die Bürger als auch die Verwaltungsmitarbeiter selbst das Zustandekommen der Entscheidungen nachvollziehen könnten. Errechnete Ergebnisse sollten "vorhersehbar und nachvollziehbar sein", gleichartige Eingaben in ein System zu gleichartigen Ausgaben führen.

Golem Akademie
  1. Penetration Testing Fundamentals
    17.-18. Januar 2022, online
  2. Linux-Systeme absichern und härten
    8.-10. November 2021, online
  3. CEH Certified Ethical Hacker v11
    8.-12. November 2021, online
Weitere IT-Trainings

Die beteiligten Informationsfreiheitsbeauftragten fordern daher den Bundes- sowie die Landesgesetzgeber auf, "öffentliche Stellen noch konsequenter als bislang zu einem transparenten, verantwortungsvollen Einsatz von Algorithmen und KI-Verfahren zu verpflichten". Konkret müssten Ämter prüfen, inwieweit derlei Operationen überhaupt grundrechtskonform implementiert werden könnten. Ergäben sich dabei Zweifel, dass die Technik ausreichend nachvollzieh-, überprüf- und beherrschbar sei, dürfe sie nicht verwendet werden.

Öffentliche Stellen bräuchten aussagekräftige, umfassende und allgemein verständliche Informationen rund um die eigenen Datenverarbeitungen, heißt es in dem Dokument. Bekannt sein müssten etwa die Kategorien der Ein- und Ausgabedaten des Verfahrens, die darin enthaltene Logik insbesondere zur Gewichtung der eingespielten Werte sowie die Konfiguration des Systems. Erkennbar werden sollten auf diese Weise die Tragweite der ausgelösten Entscheidungen und die möglichen Auswirkungen. Soweit rechtlich möglich, seien all diese Parameter auch zu veröffentlichen. Ähnliche Vorschriften hat der Gesetzgeber bisher allenfalls für das Scoring zur Bonitätsprüfung verabschiedet.

Plädoyer für "Transparency by Design"

Die Transparenzanforderungen müssten schon bei der Programmierung in die Technik eingebaut werden, plädieren die auch für den Datenschutz zuständigen Beauftragten für das Prinzip "Transparency by Design". Die berechneten Ausgabedaten sollten dabei jeweils um die Informationen ergänzt werden, welcher Input oder welche Bewertungen besonders relevant für das Ergebnis gewesen seien. Entsprechende Evaluierungswerkzeuge seien vor allem bei selbstlernenden Systemen geboten.

Die Abläufe und wesentlichen Parameter eines algorithmischen Verfahrens sind den Prüfern zufolge unerlässlich, um dessen Sicherheit und Vertrauenswürdigkeit zu schützen und etwaige Manipulationen zuverlässig erkennen zu können. Einschlägige Maßnahmen müssten regelmäßig evaluiert und einer Qualitätskontrolle unterzogen werden. Um eine umfassende Überprüfbarkeit zu gewährleisten, sollten den jeweiligen öffentlichen Stellen auch der Quelltext und gegebenenfalls andere relevante Informationen zur Verfügung gestellt und ebenfalls möglichst publiziert werden.

Für einfache Widerspruchsmöglichkeiten oder sogar Rückabwicklungen automatisiert getroffener Entscheidungen machen sich die Kontrolleure ebenfalls stark. Algorithmen dürfen dem Papier nach "unter keinen Umständen eine diskriminierende Wirkung entfalten". Daher müssten hohe Anforderungen etwa an die Auswahl von Trainingsdaten oder Bewertungsfunktionen gestellt werden. Bei hohen Risiken für die Bürger sei vorab eine Folgenabschätzung durchzuführen, in besonders sensiblen Anwendungsbereichen eine Abnahme der Technik durch eine Art "Algorithmen-TÜV" zu verlangen.

New York vorne dran

Die Verwaltung sehen die Beauftragten so insgesamt als Vorreiter bei transparenten und kontrollierbaren KI-Systemen. Ihre Initiative geht aber deutlich weiter: Sie sehen den Gesetzgeber letztlich dazu angehalten, "entsprechende Vorgaben auch für die Privatwirtschaft zu normieren". Die Bundesregierung will auf diesem Sektor aber zunächst die Ergebnisse der von ihr beziehungsweise dem Bundestag eingesetzten Kommissionen für Datenethik sowie KI abwarten.

Andere Regionen sind da schon weiter. So hat etwa der Stadtrat von New York voriges Jahr ein Gesetz verabschiedet, mit dem die automatisierte Entscheidungsfindung in Behörden zurechnungsfähiger werden soll. Die US-Metropole soll demnach nur noch auf diskriminierungsfreie Algorithmen in der Verwaltung setzen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


ibito 23. Okt 2018

Thema Algorithmus - ich würde mit Ibikli Code die Daten verschlüsseln. Beispiel...

Anonymer Nutzer 22. Okt 2018

Der Algorithmus ist nicht das Problem. Das Problem ist entweder das womit ich diesen...

Iruwen 22. Okt 2018

Vorzugsweise kein Schwarzer, außer es geht um Gebäudereinigung, Müllabfuhr oder...

Iruwen 22. Okt 2018

https://de.wikipedia.org/wiki/T%C3%B6tungsrate_nach_L%C3%A4ndern Irgendwas läuft in...

aLpenbog 22. Okt 2018

Wir sollen entsprechende Netze also mit falschen Daten füttern, um ein gewünschtes...



Aktuell auf der Startseite von Golem.de
Kooperation
Amazon Kreditkarte mit Landesbank Berlin wird eingestellt

Während der ADAC seine Kunden bereits informiert hat, schweigt Amazon Deutschland noch zum Ende der Kooperation mit der Landesbank Berlin.

Kooperation: Amazon Kreditkarte mit Landesbank Berlin wird eingestellt
Artikel
  1. Linux: Vom einfachen Speicherfehler zur Systemübernahme
    Linux
    Vom einfachen Speicherfehler zur Systemübernahme

    Ein häufig vorkommender Fehler in C-Code hat einen Google-Entwickler motiviert, über Gegenmaßnahmen nachzudenken.

  2. Social-Media-Plattform: Paypal will Pinterest kaufen
    Social-Media-Plattform
    Paypal will Pinterest kaufen

    Der Zahlungsabwickler Paypal soll bereit sein, 45 Milliarden US-Dollar für den Betreiber digitaler Pinnwände zu bezahlen.

  3. Pixel 6 (Pro): Googles Tensor-SoC ist eine wilde Mischung
    Pixel 6 (Pro)
    Googles Tensor-SoC ist eine wilde Mischung

    Viel Samsung, wenig Google: Der Chip kombiniert extreme Computational Photography mit einem kuriosen Design zugunsten der Akkulaufzeit.
    Eine Analyse von Marc Sauter

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Cyber Week Finale: Bis 33% auf Digitus-Monitorhalterungen & bis 36 Prozent auf EVGA-Netzteile • Samsung-Monitore (u. a. 24" FHD 144Hz 169€) • Bosch Professional zu Bestpreisen • Sandisk Ultra 3D 500GB 47,99€ • Google Pixel 6 vorbestellbar ab 649€ + Bose Headphones als Geschenk [Werbung]
    •  /