Nicht neutral: Wenn Schwarze mit Affen verwechselt werden

Dass Dinge wie diese passieren, liegt Bath zufolge an der Technikentwicklung selbst. Die Programmierer sind oft weiße Männer, also Mitglieder einer sehr homogenen Gruppe. Sie entwickeln Produkte in der Annahme, dass die späteren Nutzer ähnliche Interessen und Kompetenzen haben wie sie selbst. Außerdem haben Entwickler oft keine realen Personen im Kopf, sondern Stereotype.

Stellenmarkt
  1. Software Engineer (m/w/d) im Bereich Service Operations
    ASCon Systems GmbH, Stuttgart, München, Mainz
  2. Referent für Managementsysteme (m/w/d)
    Stadtwerke Hamm GmbH, Hamm
Detailsuche

So entstehen etwa für Senioren geeignete Telefone mit besonders großen Tasten - schließlich können alte Menschen oft nicht mehr gut sehen. Dabei ist alt sein nicht ausschließlich mit Fehlsichtigkeit gleichzusetzen. Auch andere gesundheitliche Probleme wie Demenz oder Hörprobleme beeinflussen, wie alte Menschen Telefone nutzen und welche Funktionen für sie relevant sind. Doch das ist vielen Programmierern nicht bewusst.

Jede neue technische Entwicklung kann erneut zu Diskriminierung führen. Etwa, wenn Fotos automatisch mit Schlagworten versehen werden, wie bei Google und Flickr. Die Dienste erkennen, was auf einem Bild zu sehen ist: Ein Foto von einem Dackel wird mit dem Schlagwort Hund versehen, ein Bild vom Eiffelturm der Stadt Paris zugeordnet. Der Algorithmus wurde bei der Entwicklung mit Informationen und Beispielen gefüttert, sodass er alle möglichen Kategorien von sich aus erkennen kann, so das Versprechen.

Doch nicht immer funktioniert das: So wurden Fotos von schwarzen Personen von Flickr mit dem Schlagwort Affe und von Google mit dem Schlagwort Gorilla versehen. Weiße Menschen wurden nicht mit Tieren verwechselt. Nach Protesten entschuldigte sich Google - und entfernte das Gorilla-Label komplett.

Technik kann genauso gut diskriminieren wie Menschen

Golem Akademie
  1. Java EE 8 Komplettkurs: virtueller Fünf-Tage-Workshop
    24.–28. Januar 2022, virtuell
  2. PowerShell Praxisworkshop: virtueller Vier-Tage-Workshop
    21.–24. Februar 2022, virtuell
Weitere IT-Trainings

Algorithmen werden auch von Unternehmen genutzt, etwa um aus einem Berg von Job-Bewerbern diejenigen auszusuchen, die zum Gespräch eingeladen werden. Andreas Dewes, Physiker und Datenwissenschaftler, beschäftigt sich mit Diskriminierung und Ethik in der datengetriebenen Gesellschaft. Mit einer Formel will er berechnen, ob der von ihm gewählte Algorithmus für die Bewerberwahl sexistisch ist.

Oder anders gesagt: Werden Männer bevorzugt zu Bewerbungsgesprächen eingeladen und Frauen schlechter behandelt? Dies wäre der Fall, wenn Frauen und Männer mit gleicher Qualifikation signifikant unterschiedlich vom Algorithmus bewertet würden. Wäre der Algorithmus neutral, hätte das Geschlecht keinerlei Einfluss darauf, ob ein Bewerber ausgewählt wird oder nicht.

Dewes' Simulation mit mehr als 10.000 Stichproben zeigt: Je mehr Informationen der Algorithmus über eine Person hat, desto stärker kann er sie diskriminieren. Es muss nicht immer das Geschlecht sein: Auch über Hautfarbe oder Gesellschaftsschicht lassen sich online öffentlich verfügbare Daten finden - Stichwort Big Data.

"Wenn der Algorithmus durch irgendeinen Zufall vollen Zugriff auf eine bestimmte Information hat, kann er genauso gut diskriminieren wie ein Mensch", sagt Dewes. "Es kann viel schiefgehen, wenn man Algorithmen nutzt."

Nur Bewusstsein kann helfen, das Problem zu lösen

Da über jeden Menschen immer mehr Daten verfügbar sind, steigt die Wahrscheinlichkeit, dass Algorithmen Informationen finden, die Grundlage für Diskriminierung sein können. Besonders kritisch wird es, wenn Entscheidungen, die unser Leben tiefgehend beeinflussen, von derartigen Algorithmen gefällt werden.

"Wie gehe ich etwa damit um, wenn ich aufgrund meines Onlineverhaltens als Terrorist eingestuft werde?", fragt Bath. "Algorithmen können schließlich auch falsche Informationen liefern."

Wenn Algorithmen nicht so vorurteilsbehaftet handeln sollen wie Menschen, gibt es nur eine Lösung: Die Entwickler selbst müssen sich des Problems bewusst werden - und zwar schon in ihrer Ausbildung. Und auch die Nutzer sollten im Hinterkopf behalten, dass jeder Algorithmus, den sie nutzen, nicht im luftleeren Raum entstanden ist, sondern von einem Menschen programmiert wurde, der nicht frei von Fehlern und Vorurteilen ist.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Diskriminierung: Wenn Algorithmen Vorurteile haben
  1.  
  2. 1
  3. 2


maniacos 21. Jan 2016

Warum gehst du davon aus, dass sexistische Männer diese Suchanfragen erzeugen? Es können...

maniacos 21. Jan 2016

Indem man über Dinge labert, von denen man keinen blassen Schimmer hat aber trotzdem so...

maniacos 21. Jan 2016

Die Frau behauptet, dass Entwickler ihre Algorithmen sexistisch programmieren. Das ist...

Dwalinn 20. Jan 2016

Noch nichtmal das! Kann auch sein das Feministen ständig nach "Frauen sollten keine...

kullerkeks 19. Jan 2016

...oder kein sinnvolles Thema mit dem Sie sich beschäftigen können. Ein Algorithmus kann...



Aktuell auf der Startseite von Golem.de
Ransomware
Jeder hat Daten, die eine Erpressung wert sind

Unbenutzbare Systeme, verlorene Daten und Schaden in Millionenhöhe: Wie ich einen Emotet-Angriff erlebt habe.
Ein Erfahrungsbericht von Lutz Olav Däumling

Ransomware: Jeder hat Daten, die eine Erpressung wert sind
Artikel
  1. Bundesservice Telekommunikation: Die dubiose Adresse in Berlin-Treptow
    Bundesservice Telekommunikation  
    Die dubiose Adresse in Berlin-Treptow

    Angeblich hat das Innenministerium nichts mit dem Bundesservice Telekommunikation zu tun. Doch beide teilen sich offenbar ein Bürogebäude.
    Ein Bericht von Friedhelm Greis

  2. Elektroautos: Volkswagen und Bosch kooperieren bei Akkuzell-Fertigung
    Elektroautos
    Volkswagen und Bosch kooperieren bei Akkuzell-Fertigung

    Den wachsenden Bedarf an Stromspeichern will Volkswagen durch eine Produktionspartnerschaft für Akkuzellen mit Bosch decken.

  3. Fahrlässige Tötung: Tesla-Fahrer wegen Unfall durch Autopilot angeklagt
    Fahrlässige Tötung
    Tesla-Fahrer wegen Unfall durch Autopilot angeklagt

    Ein Tesla-Fahrer muss sich wegen fahrlässiger Tötung vor Gericht verantworten, weil zwei Menschen ums Leben kamen, als der Tesla auf Autopilot fuhr.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5 WOHL HEUTE BESTELLBAR • Agon Pro Gaming-Monitor 27" 165Hz 885,86€ (Bestpreis) • Samsung 16GB DDR5-4800 199€ • RTX 3080 12GB bei Mindfactory 1.699€ • Samsung Gaming-Monitore (u.a. G5 32" WQHD 144Hz Curved 299€) • MindStar (u.a. GTX 1660 6GB 499€) • Sony Fernseher & Kopfhörer [Werbung]
    •  /