Explainable KI: Wie erklären Menschen die Entscheidungen von Computern?
Die Wahrnehmung von künstlicher Intelligenz in der Öffentlichkeit und der Fachwelt könnte wohl nicht unterschiedlicher sein. Erstere stellt sich häufig apokalyptische Zustände vor, Letztere schreibt einfach wenige Zeilen Code und setzt so ein neuronales Netz auf, das in der Lage ist, beispielsweise bösartige Hirntumore zu klassifizieren(öffnet im neuen Fenster) .
Die Möglichkeiten der KI sind scheinbar unbegrenzt und für Fachleute sind einfache Anwendungen, soweit die Datenbasis von hoher Qualität ist, als Prototyp meist leicht umsetzbar. Bei diesen vielfältigen Einsatzgebieten stellt sich die Frage, wer noch wirklich versteht, was in so einem Netz passiert.
Von KI-Entscheidungen erwarten wir mehr als von menschlichen
Von künstlicher Intelligenz wird zunehmend Erklärbarkeit beziehungsweise Transparenz gefordert. Im ersten Moment ist dies verständlich, da gewisse Entscheidungen nachvollzogen werden sollten – etwa bei einem Unfall eines autonomen Fahrzeugs.
Es gibt aber auch eine andere Perspektive: Wir wissen auch nicht von jedem menschlichen Verursacher eines Verkehrsunfalls, warum er während einer Notsituation so gehandelt hat oder wie er in einer solchen Situation handeln würde. Was würden Sie tun, wenn Sie die Wahl hätten, in eine Gruppe älterer Menschen oder in ein Kind zu fahren – und es keine weitere Option gäbe (auch bekannt als Trolley-Problem)? Und hätten Sie in einer solchen Stresssituation überhaupt eine Wahl?
Von einem autonomen Auto verlangen wir allerdings klare Antworten und Begründungen, warum wie gehandelt wurde. Das ist auch gut so und sollte weiterhin so gehandhabt werden, aber der Vergleich von Mensch und Maschine ist trotzdem diskussionswürdig und soll an dieser Stelle bloß als Gedankenexperiment dienen.
Keine einfachen Wenn-Dann-Funktionen
Bei einem Algorithmus, der wie bei Spotify oder Youtube Vorschläge für die nächsten Songs oder Videos ausarbeitet, scheint es nicht die größte Priorität zu haben, nachvollziehen zu können, wie die Vorschläge zustande gekommen sind. Etwa bei den Gehirntumoren dringen wir mit modernen maschinellen Lernsystemen wie neuronalen Netzen jedoch immer mehr in sensible Bereiche vor.
Die Antworten auf Fragen wie "Warum hat eine KI diese Entscheidung getroffen?" oder "Welche Faktoren haben zu dieser Vorhersage geführt?" sind nicht nur für die Arbeit von Entwicklern interessant. In Zeiten, in denen die intelligente Datennutzung in allen Branchen und Lebensbereichen vertreten ist, sind sie auch ethisch und rechtlich notwendig.
Doch wir stehen vor einem Problem: Natürlich können verschiedene Interessengruppen fordern, Algorithmen transparenter zu gestalten, doch diese sind schon lange keine einfachen Wenn-Dann-Funktionen beziehungsweise regelbasierten Systeme mehr. Ihre Entscheidungen können nicht immer einfach herausgelesen werden.
Keine Erklärbarkeit ist auch keine Lösung
Oft wird künstliche Intelligenz mit Systemen in Verbindung gebracht, die im Hintergrund einen einfachen Entscheidungsbaum oder eine lineare Regression verwenden. Diese Art von Modellen nennt man interpretierbare Modelle, weil das mathematische Modell an sich schon reicht, um die wichtigsten Features zu beschreiben und somit zu erklären.
Entscheidungsbäume (wie in dieser Abbildung dargestellt)(öffnet im neuen Fenster) sind dabei besonders gut geeignet, weil jede Entscheidung nachvollzogen werden kann. Auch die Regression bei der Vorhersage von Zahlenwerten liefert für jede Inputvariable einen Wert, der zeigt, wie wichtig diese Variable für die Vorhersage ist. Doch nicht jede Problemstellung kann mit dieser Art von Modellen dargestellt und somit gelöst werden.
Die mathematischen Modelle werden zunehmend komplexer, wie auch diese Abbildung veranschaulicht(öffnet im neuen Fenster) . Das ist darauf zurückzuführen, dass man Problemstellungen mit immer mehr Dimensionen lösen will. Dabei bietet diese Art von Netzwerk mit passendem Anwendungsfall extreme Genauigkeit.
Je komplexer das Modell, desto undurchschaubarer
Die Erklärbarkeit nimmt mit zunehmender Größe des Modells drastisch ab, da immens viele Verbindungen existieren. Zusätzlich werden all diesen Verbindungen und Knotenpunkten numerische Werte zugeordnet, die je nach Problem adaptiv angepasst werden. Genau diese Parameter werden in einer sogenannten Lernphase wie bei unserem biologischen neuronalen Netz trainiert. Dieser Prozess kann viele Zyklen durchlaufen, um so immer weiter zu einem Optimum zu kommen.
Es sollte noch erwähnt werden, dass die einzelnen Schichten beziehungsweise Knotenpunkte auch in ihrer Größe variieren und es diverse Abarten dieses noch simplen Aufbaus gibt, um beispielsweise Bild- oder Audiodaten verarbeiten zu können. Es kann allerdings davon ausgegangen werden: Je vielseitiger und komplexer das Modell ist, desto undurchsichtiger ist die Entscheidung.
Wie soll man nun mit dieser Erkenntnis umgehen? Soll man Fahrzeuge autonom machen oder medizinische Vorhersagen implementieren, ohne die Entscheidungen der KI nachvollziehen zu können? Selbstverständlich nicht, das wäre ethisch und rechtlich nicht vertretbar. Daher wird intensiv an diversen Ansätzen geforscht, um Modelle für Menschen erklärbar zu machen. Zu den wichtigsten Methoden gehören sogenannte Modell-agnostische Erklärungen, die ohne Wissen über ein spezifisches Modell solche Erklärungen liefern können.
KI-Entscheidungen erklären mit Lime und Shap
Zwei der wichtigsten Vertreter der Modell-agnostischen Erklärungen sind Lime(öffnet im neuen Fenster) und Shap(öffnet im neuen Fenster) . Sie können auf jedes Machine-Learning-Modell angewendet werden und funktionieren sogar mit komplexen Datenstrukturen wie Text- oder Bilddaten.
Bei Lime wird, vereinfacht gesagt, für eine Vorhersage für genau diese eine Instanz ein einfacheres lokales Modell erzeugt. Somit lässt sich für diese Instanz sagen, welche Parameter den stärksten Einfluss hatten. Statt eines globalen undurchsichtigen neuronalen Netzes wird also ein lokales lineares Trennmodell erzeugt, das durch die benachbarten beziehungsweise ähnlichen Datenpunkte eine einfache Trennlinie legt. Genau diese simple Linie kann herangezogen werden, um für diesen lokalen Datenpunkt zu sagen, welche Features ausschlaggebend für die jeweilige Klassifikation waren und welche nicht.
Shap basiert auf der Spieltheorie und versucht mithilfe von Shapely-Values lokale Interpretierbarkeit zu gewährleisten. Dabei werden alle möglichen Kombinationen der Inputfeatures herangezogen und Modelle getrennt voneinander trainiert. Das Ergebnis beziehungsweise der Output der Modelle wird laufend kontrolliert.
Bei wichtigen Features wird sich das durchschnittliche Ergebnis beträchtlich ändern, da dadurch ja die Vorhersagekraft deutlich angehoben wird. Falls genau dieses Feature bei allen vorhin erwähnten Kombinationen zu einem besseren Ergebnis beiträgt, wird es ein wichtiges Feature im Gesamtmodell sein.
Der Vollständigkeit halber sei gesagt, dass diese Erklärungen vor allem eines sind: sehr kurz. Allerdings soll es in diesem Artikel auch nur um die grobe Intuition der Methoden gehen. Zum Weiterlesen gibt es hier eine theoretische Quelle (öffnet im neuen Fenster) und eine praktische Umsetzung (öffnet im neuen Fenster) .
Implementiert man Lime oder Shap, ist es möglich, ein Modell bis zu einem gewissen Grad erklärbar zu machen. Mit Erklärbarkeit ist meist die Wichtigkeit der jeweiligen Inputvariablen für die einzelnen Vorhersagen gemeint. Um diesen Vorgang greifbarer zu machen, folgen ein paar praktische Beispiele.
Die einzelnen Pixel, sprich die Inputs je nach Klasse, werden farblich gekennzeichnet (wie etwa auf dieser Abbildung(öffnet im neuen Fenster) zu sehen ist). So entsteht eine Art Heatmap für das entsprechende Bild.
Bilddaten eignen sich hervorragend, um sich vorzustellen, wie Erklärbarkeit umgesetzt werden kann, da man die Erklärungen leicht verständlich auf den jeweiligen Bildern visuell markieren kann. Ein einfaches Beispiel wäre das autonome Fahren, um zu visualisieren, welche Objekte (Stoppschilder, Zebrastreifen etc.) der Fahralgorithmus erkennt und welche nicht beziehungsweise falsch klassifiziert werden (statt 50 km/h Höchstgeschwindigkeit zum Beispiel 70 km/h). Vor allem bei Unfällen wird in Zukunft die Erklärung von gewissen Entscheidungen durch einen Fahralgorithmus eine große Rolle spielen.
Der Implementierungsaufwand ist für Entwickler ein zentraler Punkt, um Explainable-AI-Methoden einzusetzen. Sind Methoden nur mit hohem Aufwand umsetzbar, werden nicht viele Programmierer Schritte in diese Richtung wagen. Mittlerweile gibt es allerdings zahlreiche Methoden (neben Lime und Shap etwa Layer-wise Relevance Propagation Rationalization) und Packages für diverse Programmiersprachen.
Für R beziehungsweise Python gibt es beispielsweise Dalex(öffnet im neuen Fenster) , das an sich zwar keine Methode ist, aber ein Package, das diverse Berechnungsmethoden wie Lime oder Shap kombiniert und in einfacher Weise zur Verfügung stellt. Hier möchte man etwa(öffnet im neuen Fenster) mithilfe von verschiedenen Variablen wie dem BIP oder der Wahrnehmung von Korruption "Happiness" vorhersagen.
Dalex berechnet nun im Hintergrund je nach gewählter Methode die Wichtigkeit der einzelnen Inputfeatures und bereitet sie grafisch auf. In unserem Beispiel stellt man damit etwa schnell und einfach fest, dass die soziale Unterstützung ein wesentlicher Faktor ist, um die "Happiness" zu bestimmen. Diese Berechnung kann auf neuronale Netze sowie diverse andere Modelle angewendet werden. Zudem ist hervorzuheben, dass dieser Vorgang in wenigen Zeilen Code umgesetzt werden kann und es so keinen hohen Zeitaufwand braucht, um undurchsichtige Entscheidungen transparent darzustellen.
KI-Modelle sind keine Blackbox mehr
Tiefe neuronale Netze beziehungsweise fortgeschrittene maschinelle Lernsysteme sind keine Blackbox mehr. Sie sind zwar komplex und somit schwer erklärbar, aber die Methoden, sie besser zu erläutern, werden immer ausgereifter und vor allem einfacher zu implementieren.
Wir brauchen Explainable AI , also erklärbare KI dringend, um das Vertrauen in künstliche Intelligenz zu stärken. Denn nur, wenn Algorithmen ganz klar Entscheidungen argumentieren können und transparente Ergebnisse liefern, kann KI auch in sensiblen Bereichen eingesetzt werden.
Zurzeit ist es immer Abwägungssache, ob man lieber ein einfaches erklärbares mathematisches Modell wie einen Entscheidungsbaum heranzieht oder auf die Interpretierbarkeit weniger Fokus legt und daher eine Art eines neuronalen Netzes implementiert.
Diese Abwägung wird dank vieler Open-Source-Projekte zu Explainable AI , die eine erklärbare und transparente Entwicklung von künstlicher Intelligenz gezielt vorantreiben, immer mehr obsolet. Vor allem die im Artikel erwähnten Methoden zeigen simple Möglichkeiten zur Implementierung von erklärbaren Ergebnissen für diverse Anwendungsfälle.
Es ist an der Zeit, den Blackbox-Gedanken aufzugeben und gemeinsam diese Technologien an die Endnutzer weiterzugeben, um Schritt für Schritt das Vertrauen in KI zu stärken. Denn eines ist ganz klar: Mithilfe von KI werden wir vielfältige Herausforderungen lösen und so den technologischen Wandel nachhaltig gestalten können.
Florian Voglauer ist zurzeit im Masterstudium Data Intelligence an der FH St. Pölten. Zwei Jahre lang hat er als Data Analyst bei einem globalen Industriekonzern gearbeitet und ist aktuell Junior Data Scientist bei einem AI-Startup für die Lebensmittel- und Logistikbranche.