Automation macht uns faul

Im Jahr 2008 fuhr in Seattle der Fahrer eines dreieinhalb Meter hohen Busses, in dem die Sportmannschaft einer Highschool saß, in eine Betonbrücke mit 2,70 Metern Durchfahrtshöhe. Das Dach des Busses wurde abgerissen, und 21 Schüler mussten mit Verletzungen ins Krankenhaus gebracht werden. Der Fahrer sagte bei der Polizei aus, er sei GPS-Anweisungen gefolgt und habe die Schilder und Warnlichter vor der niedrigen Brücke "nicht gesehen". Besonders gefährlich ist der Automation Bias für Menschen, die Analysen oder Diagnosen mit Software-Tools zur Entscheidungsunterstützung durchführen. Seit den späten 1990er-Jahren setzen Radiologen computergestützte Bildauswertungsprogramme ein, die verdächtige Bereiche in Mammographien oder anderen Röntgenaufnahmen hervorheben. Ein Bild wird eingescannt und von einer Mustererkennungssoftware überprüft, und die Regionen, die der Arzt näher untersuchen sollte, werden markiert. In manchen Fällen helfen diese Markierungen bei der Diagnose von Krankheiten, weil sie den Radiologen auf mögliche Tumore hinweisen, die er sonst womöglich übersehen hätte.

Doch verschiedene Studien ergaben, dass diese Markierungen auch den gegenteiligen Effekt haben können. Wenn sich ein Arzt zu sehr auf die Vorschläge der Software verlässt, widmet er möglicherweise den nicht hervorgehobenen Regionen eines Bildes weniger Aufmerksamkeit und übersieht womöglich einen Tumor im frühen Stadium oder eine andere Auffälligkeit. Die Markierungen erhöhen außerdem die Wahrscheinlichkeit einer falsch-positiven Diagnose, wenn ein Radiologe nachträglich eine unnötige Biopsie an einem Patienten durchführen lässt.

Eine aktuelle Review von Mammographiedaten eines Forscherteams von der City University London zeigte, dass Radiologen und andere Bildauswerter stärker von Automation Bias beeinflusst werden, als bisher angenommen. Die Forscher fanden heraus, dass computergestützte Bildauswertungsprogramme zwar die Trefferquote von "weniger aufmerksamen Auswerfern" bei "vergleichsweise einfachen Fällen" erhöhten, dass sie jedoch die Leistung erfahrener Auswerter bei der Diagnose komplizierter Fälle zum Teil verschlechterten.

Wenn die Experten sich auf die Software verlassen, steigt die Wahrscheinlichkeit, dass sie bestimmte Krebsarten übersehen. Die verzerrte Wahrnehmung beim Einsatz computergestützter Entscheidungshilfen könnte sogar "fester Bestandteil der menschlichen kognitiven Vorgänge bei der Verarbeitung von Signalen und Alarmzeichen" sein. Die Hilfen steuern unseren Blick und verzerren so unsere Wahrnehmung.

Sowohl Complacency als auch Bias haben mit den Grenzen unserer Aufmerksamkeit zu tun. Der Hang zur Complacency zeigt, wie schnell Konzentration und Aufmerksamkeit abnehmen, wenn man nicht ständig mit seiner Umgebung interagieren muss. Die Neigung zum Bias bei der Auswertung und Bewertung von Informationen zeigt, dass wir uns immer nur auf bestimmte Punkte konzentrieren können und dass unser Fokus durch unangebrachtes Vertrauen oder scheinbar hilfreiche Markierungen fehlgeleitet werden kann.

Sowohl Complacency als auch Bias nehmen mit zunehmender Qualität und Zuverlässigkeit eines automatischen Systems zu. Experimente haben gezeigt, dass die Benutzer hoch aufmerksam bleiben, wenn ein System häufig Fehler macht. Der Nutzer bleibt aufmerksam für seine Umgebung und zieht sorgfältig mehrere Informationsquellen in Betracht. Doch wenn ein System sehr zuverlässig arbeitet und nur selten abstürzt oder Fehler macht, werden wir faul. Wir vertrauen zunehmend in die Unfehlbarkeit des Systems.

Da automatische Systeme in der Regel gut funktionieren, auch wenn wir unaufmerksam werden oder unsere Objektivität verlieren, haben Complacency und Bias nur selten böse Folgen. So verstärken sich die Probleme noch, wie Parasuraman in einem Artikel aus dem Jahr 2010 erörterte, den er mit seinem deutschen Kollegen Dietrich Manzey verfasste. "Angesichts der üblicherweise sehr guten Zuverlässigkeit automatischer Systeme hat selbst ein stark von Complacency und Bias beeinflusstes Verhalten bei der Bedienung der Systeme nur selten offensichtliche Auswirkungen auf die Leistung", schrieben die Forscher. Das fehlende negative Feedback führe mit der Zeit zu "einem kognitiven Prozess ähnlich der sogenannten 'gelernten Sorglosigkeit'".

Ein Beispiel: Wenn man übermüdet Auto fährt, dabei einnickt und von der Fahrbahn abkommt, fährt man meist auf einen holprigen Randstreifen, einen Rüttelstreifen, oder man erntet ein Hupkonzert der anderen Autofahrer. Diese Signale wecken den Fahrer auf. Wenn man aber nun mit einem Auto fährt, das automatisch in der Spur bleibt, weil es die Fahrbahnmarkierung beachtet und die Lenkung anpasst, erhält man keine solche Warnung. Man wird daher einschlafen. Wenn dann etwas Unvorhergesehenes geschieht - wenn etwa ein Tier über die Straße läuft oder ein vorausfahrender Wagen plötzlich bremst -, ist die Wahrscheinlichkeit eines Unfalls deutlich erhöht. Die Automatisierung verhindert negatives Feedback und erschwert das Wach- und Aufmerksam-Bleiben. Wir schalten immer mehr ab.

Der Text ist ein Auszug aus: "Abgehängt - Wo bleibt der Mensch, wenn Computer entscheiden?" von Nicholas Carr. Carl Hanser Verlag München, 2014. 19,99 Euro.

Nicholas Carr war unter anderem Herausgeber der Harvard Business Review und Kolumnist für den Guardian. Er schreibt für das New York Times Magazine und das Wall Street Journal. Sein Buch "Wer bin ich, wenn ich online bin" wurde in 23 Sprachen übersetzt und war Finalist für den Pulitzerpreis. Nicholas Carr lebt in Boulder, Colorado.