Algorithmen: Es bleibt viel zu tun

Die Hirnforschung hat zwar in den letzten Jahrzehnten viele neue Beobachtungen geliefert, doch ist es bislang nicht gelungen, diese in der KI nutzbar zu machen. Allen Erfolgen zum Trotz unterliegt der Einsatz künstlicher neuronaler Netze auch heute noch ernsthaften Limitationen.

Die steigende Genauigkeit der Algorithmen wurde zu einem wesentlichen Teil durch immer größere Mengen an Trainingsdaten erkauft: Aktuelle Megamodelle wie GPT-3 verfügen über Hunderte Millionen freier Parameter und trainieren auf Terabytes von Bilddaten oder Textsammlungen, welche die gesamte Wikipedia enthalten und noch weit darüber hinausgehen.

Entsprechend hoch sind die Anforderungen solcher Modelle an Hardware und Energieverbrauch: Während ein menschliches Gehirn mit rund 20W nicht mehr Energie verbraucht als eine Energiesparlampe, kann das Training eines einzigen Megamodells die Kapazität ganzer Rechencluster und damit Hunderttausende von Kilowattstunden in Anspruch nehmen.

Gleichzeitig ist es nicht einfach, das einmal gelernte Wissen auf neue Gebiete zu übertragen. Gerade in sehr spezifischen Anwendungsgebieten führt dies zu Schwierigkeiten, da beispielsweise im medizinischen Bereich oft nicht genügend Trainingsdaten aus Studien zur Verfügung stehen.

Und selbst, wenn man keine Energiekosten und Mühen der Datenaufbereitung scheut, ist der Erfolg eines Deep-Learning-Projektes keinesfalls sicher: Belastbare Angaben zur Genauigkeit eines Modells lassen sich normalerweise erst dann machen, wenn das Training bereits abgeschlossen ist, was die Projektrisiken gerade beim Einsatz in der Unternehmenspraxis deutlich erhöht.

Die aktuelle KI-Forschung beschäftigt sich intensiv damit, wie künstliche neuronale Netze trotz dieser Einschränkungen in der Praxis eingesetzt werden können. Beispielsweise werden Methoden entwickelt, um Sätze von Trainingsdaten künstlich zu vergrößern, indem reale Datenpunkte auf verschiedene Weisen wirklichkeitsnah abgewandelt werden.

Bei dem als Data Augmentation bekannten Verfahren werden etwa Bilder auch in gedrehter, skalierter oder auf sonstige Weise veränderter Form zum Training verwendet, um die Robustheit des neuronalen Netzes gegen derartige Transformationen zu erhöhen. Alternativ kann man Trainingsdaten in manchen Fällen auch komplett künstlich erzeugen und arbeitet dann mit sogenannten synthetischen Daten.

Braucht es neue Algorithmen

Ebenfalls von hohem Interesse sind Algorithmen, die auch mit Trainingsdaten zurechtkommen, wenn diese unzuverlässig oder gar nicht annotiert sind ("weakly supervised" bzw. "self supervised").

Um Algorithmen schneller auf neue Wissensgebiete anzuwenden, können vortrainierte Netze verwendet werden, die mit überschaubarem Bedarf an Trainingsdaten nur noch in ihren neuen Aufgabenbereich eingelernt werden müssen. Hinter dieser als Transfer Learning bekannten Idee steckt die Einsicht, dass beispielsweise im Bereich der Bilderkennung Objekte praktisch immer aus Kanten, Farbflecken und einfachen geometrischen Formen bestehen und daher die entsprechenden Detektor-Neuronen nicht für jeden Anwendungsfall neu gelernt werden müssen.

Angesichts der Vielzahl von Methoden, deren Auflistung hier bei weitem nicht vollständig ist, stellt sich die Frage: Ist die KI der Zukunft wirklich eine immer größere Sammlung von Tricks, um tiefe neuronale Netze auf stetig zunehmenden Datenmengen zu trainieren, oder müssen fundamental neue Algorithmen gefunden werden?

Gerade der Vergleich mit biologischen Gehirnen und ihrer enormen Flexibilität und Leistungsfähigkeit bei minimalem Energieverbrauch deutet auf letzteres hin.

Helmut Linde leitete verschiedene Data-Science-Teams in deutschen Konzernen und ist nun bei der Covestro AG für die Digitalisierung von Forschung und Entwicklung verantwortlich. Als Mathematiker und Physiker ist er fasziniert von naturwissenschaftlichen Themen sowie der Anwendung und der Zukunft der künstlichen Intelligenz.