Nicht neutral: Wenn Schwarze mit Affen verwechselt werden

Dass Dinge wie diese passieren, liegt Bath zufolge an der Technikentwicklung selbst. Die Programmierer sind oft weiße Männer, also Mitglieder einer sehr homogenen Gruppe. Sie entwickeln Produkte in der Annahme, dass die späteren Nutzer ähnliche Interessen und Kompetenzen haben wie sie selbst. Außerdem haben Entwickler oft keine realen Personen im Kopf, sondern Stereotype.

So entstehen etwa für Senioren geeignete Telefone mit besonders großen Tasten - schließlich können alte Menschen oft nicht mehr gut sehen. Dabei ist alt sein nicht ausschließlich mit Fehlsichtigkeit gleichzusetzen. Auch andere gesundheitliche Probleme wie Demenz oder Hörprobleme beeinflussen, wie alte Menschen Telefone nutzen und welche Funktionen für sie relevant sind. Doch das ist vielen Programmierern nicht bewusst.

Jede neue technische Entwicklung kann erneut zu Diskriminierung führen. Etwa, wenn Fotos automatisch mit Schlagworten versehen werden, wie bei Google und Flickr. Die Dienste erkennen, was auf einem Bild zu sehen ist: Ein Foto von einem Dackel wird mit dem Schlagwort Hund versehen, ein Bild vom Eiffelturm der Stadt Paris zugeordnet. Der Algorithmus wurde bei der Entwicklung mit Informationen und Beispielen gefüttert, sodass er alle möglichen Kategorien von sich aus erkennen kann, so das Versprechen.

Doch nicht immer funktioniert das: So wurden Fotos von schwarzen Personen von Flickr mit dem Schlagwort Affe und von Google mit dem Schlagwort Gorilla versehen. Weiße Menschen wurden nicht mit Tieren verwechselt. Nach Protesten entschuldigte sich Google - und entfernte das Gorilla-Label komplett.

Technik kann genauso gut diskriminieren wie Menschen

Algorithmen werden auch von Unternehmen genutzt, etwa um aus einem Berg von Job-Bewerbern diejenigen auszusuchen, die zum Gespräch eingeladen werden. Andreas Dewes, Physiker und Datenwissenschaftler, beschäftigt sich mit Diskriminierung und Ethik in der datengetriebenen Gesellschaft. Mit einer Formel will er berechnen, ob der von ihm gewählte Algorithmus für die Bewerberwahl sexistisch ist.

Oder anders gesagt: Werden Männer bevorzugt zu Bewerbungsgesprächen eingeladen und Frauen schlechter behandelt? Dies wäre der Fall, wenn Frauen und Männer mit gleicher Qualifikation signifikant unterschiedlich vom Algorithmus bewertet würden. Wäre der Algorithmus neutral, hätte das Geschlecht keinerlei Einfluss darauf, ob ein Bewerber ausgewählt wird oder nicht.

Dewes' Simulation mit mehr als 10.000 Stichproben zeigt: Je mehr Informationen der Algorithmus über eine Person hat, desto stärker kann er sie diskriminieren. Es muss nicht immer das Geschlecht sein: Auch über Hautfarbe oder Gesellschaftsschicht lassen sich online öffentlich verfügbare Daten finden - Stichwort Big Data.

"Wenn der Algorithmus durch irgendeinen Zufall vollen Zugriff auf eine bestimmte Information hat, kann er genauso gut diskriminieren wie ein Mensch", sagt Dewes. "Es kann viel schiefgehen, wenn man Algorithmen nutzt."

Nur Bewusstsein kann helfen, das Problem zu lösen

Da über jeden Menschen immer mehr Daten verfügbar sind, steigt die Wahrscheinlichkeit, dass Algorithmen Informationen finden, die Grundlage für Diskriminierung sein können. Besonders kritisch wird es, wenn Entscheidungen, die unser Leben tiefgehend beeinflussen, von derartigen Algorithmen gefällt werden.

"Wie gehe ich etwa damit um, wenn ich aufgrund meines Onlineverhaltens als Terrorist eingestuft werde?", fragt Bath. "Algorithmen können schließlich auch falsche Informationen liefern."

Wenn Algorithmen nicht so vorurteilsbehaftet handeln sollen wie Menschen, gibt es nur eine Lösung: Die Entwickler selbst müssen sich des Problems bewusst werden - und zwar schon in ihrer Ausbildung. Und auch die Nutzer sollten im Hinterkopf behalten, dass jeder Algorithmus, den sie nutzen, nicht im luftleeren Raum entstanden ist, sondern von einem Menschen programmiert wurde, der nicht frei von Fehlern und Vorurteilen ist.