KI-Entscheidungen erklären mit Lime und Shap

Zwei der wichtigsten Vertreter der Modell-agnostischen Erklärungen sind Lime und Shap. Sie können auf jedes Machine-Learning-Modell angewendet werden und funktionieren sogar mit komplexen Datenstrukturen wie Text- oder Bilddaten.

Bei Lime wird, vereinfacht gesagt, für eine Vorhersage für genau diese eine Instanz ein einfacheres lokales Modell erzeugt. Somit lässt sich für diese Instanz sagen, welche Parameter den stärksten Einfluss hatten. Statt eines globalen undurchsichtigen neuronalen Netzes wird also ein lokales lineares Trennmodell erzeugt, das durch die benachbarten beziehungsweise ähnlichen Datenpunkte eine einfache Trennlinie legt. Genau diese simple Linie kann herangezogen werden, um für diesen lokalen Datenpunkt zu sagen, welche Features ausschlaggebend für die jeweilige Klassifikation waren und welche nicht.

Shap basiert auf der Spieltheorie und versucht mithilfe von Shapely-Values lokale Interpretierbarkeit zu gewährleisten. Dabei werden alle möglichen Kombinationen der Inputfeatures herangezogen und Modelle getrennt voneinander trainiert. Das Ergebnis beziehungsweise der Output der Modelle wird laufend kontrolliert.

Bei wichtigen Features wird sich das durchschnittliche Ergebnis beträchtlich ändern, da dadurch ja die Vorhersagekraft deutlich angehoben wird. Falls genau dieses Feature bei allen vorhin erwähnten Kombinationen zu einem besseren Ergebnis beiträgt, wird es ein wichtiges Feature im Gesamtmodell sein.

Der Vollständigkeit halber sei gesagt, dass diese Erklärungen vor allem eines sind: sehr kurz. Allerdings soll es in diesem Artikel auch nur um die grobe Intuition der Methoden gehen. Zum Weiterlesen gibt es hier eine theoretische Quelle und eine praktische Umsetzung.

Implementiert man Lime oder Shap, ist es möglich, ein Modell bis zu einem gewissen Grad erklärbar zu machen. Mit Erklärbarkeit ist meist die Wichtigkeit der jeweiligen Inputvariablen für die einzelnen Vorhersagen gemeint. Um diesen Vorgang greifbarer zu machen, folgen ein paar praktische Beispiele.

Die einzelnen Pixel, sprich die Inputs je nach Klasse, werden farblich gekennzeichnet (wie etwa auf dieser Abbildung zu sehen ist). So entsteht eine Art Heatmap für das entsprechende Bild.

Bilddaten eignen sich hervorragend, um sich vorzustellen, wie Erklärbarkeit umgesetzt werden kann, da man die Erklärungen leicht verständlich auf den jeweiligen Bildern visuell markieren kann. Ein einfaches Beispiel wäre das autonome Fahren, um zu visualisieren, welche Objekte (Stoppschilder, Zebrastreifen etc.) der Fahralgorithmus erkennt und welche nicht beziehungsweise falsch klassifiziert werden (statt 50 km/h Höchstgeschwindigkeit zum Beispiel 70 km/h). Vor allem bei Unfällen wird in Zukunft die Erklärung von gewissen Entscheidungen durch einen Fahralgorithmus eine große Rolle spielen.

Der Implementierungsaufwand ist für Entwickler ein zentraler Punkt, um Explainable-AI-Methoden einzusetzen. Sind Methoden nur mit hohem Aufwand umsetzbar, werden nicht viele Programmierer Schritte in diese Richtung wagen. Mittlerweile gibt es allerdings zahlreiche Methoden (neben Lime und Shap etwa Layer-wise Relevance Propagation Rationalization) und Packages für diverse Programmiersprachen.

Für R beziehungsweise Python gibt es beispielsweise Dalex, das an sich zwar keine Methode ist, aber ein Package, das diverse Berechnungsmethoden wie Lime oder Shap kombiniert und in einfacher Weise zur Verfügung stellt. Hier möchte man etwa mithilfe von verschiedenen Variablen wie dem BIP oder der Wahrnehmung von Korruption "Happiness" vorhersagen.

Dalex berechnet nun im Hintergrund je nach gewählter Methode die Wichtigkeit der einzelnen Inputfeatures und bereitet sie grafisch auf. In unserem Beispiel stellt man damit etwa schnell und einfach fest, dass die soziale Unterstützung ein wesentlicher Faktor ist, um die "Happiness" zu bestimmen. Diese Berechnung kann auf neuronale Netze sowie diverse andere Modelle angewendet werden. Zudem ist hervorzuheben, dass dieser Vorgang in wenigen Zeilen Code umgesetzt werden kann und es so keinen hohen Zeitaufwand braucht, um undurchsichtige Entscheidungen transparent darzustellen.