Algorithmen: Es bleibt viel zu tun

Die Hirnforschung hat zwar in den letzten Jahrzehnten viele neue Beobachtungen geliefert, doch ist es bislang nicht gelungen, diese in der KI nutzbar zu machen. Allen Erfolgen zum Trotz unterliegt der Einsatz künstlicher neuronaler Netze auch heute noch ernsthaften Limitationen.

Stellenmarkt
  1. IT - Projektmanager (m/w/d)
    FOM Hochschule für Oekonomie & Management gemeinnützige GmbH, Essen
  2. IT Systemintegrator (w/m/d)
    EUCHNER GmbH + Co. KG, Leinfelden-Echterdingen, Stuttgart
Detailsuche

Die steigende Genauigkeit der Algorithmen wurde zu einem wesentlichen Teil durch immer größere Mengen an Trainingsdaten erkauft: Aktuelle Megamodelle wie GPT-3 verfügen über Hunderte Millionen freier Parameter und trainieren auf Terabytes von Bilddaten oder Textsammlungen, welche die gesamte Wikipedia enthalten und noch weit darüber hinausgehen.

Entsprechend hoch sind die Anforderungen solcher Modelle an Hardware und Energieverbrauch: Während ein menschliches Gehirn mit rund 20W nicht mehr Energie verbraucht als eine Energiesparlampe, kann das Training eines einzigen Megamodells die Kapazität ganzer Rechencluster und damit Hunderttausende von Kilowattstunden in Anspruch nehmen.

Gleichzeitig ist es nicht einfach, das einmal gelernte Wissen auf neue Gebiete zu übertragen. Gerade in sehr spezifischen Anwendungsgebieten führt dies zu Schwierigkeiten, da beispielsweise im medizinischen Bereich oft nicht genügend Trainingsdaten aus Studien zur Verfügung stehen.

Golem Karrierewelt
  1. CEH Certified Ethical Hacker v11: virtueller Fünf-Tage-Workshop
    30.05.-03.06.2022, Virtuell
  2. LDAP Identitätsmanagement Fundamentals: virtueller Drei-Tage-Workshop
    18.-20.07.2022, Virtuell
Weitere IT-Trainings

Und selbst, wenn man keine Energiekosten und Mühen der Datenaufbereitung scheut, ist der Erfolg eines Deep-Learning-Projektes keinesfalls sicher: Belastbare Angaben zur Genauigkeit eines Modells lassen sich normalerweise erst dann machen, wenn das Training bereits abgeschlossen ist, was die Projektrisiken gerade beim Einsatz in der Unternehmenspraxis deutlich erhöht.

Die aktuelle KI-Forschung beschäftigt sich intensiv damit, wie künstliche neuronale Netze trotz dieser Einschränkungen in der Praxis eingesetzt werden können. Beispielsweise werden Methoden entwickelt, um Sätze von Trainingsdaten künstlich zu vergrößern, indem reale Datenpunkte auf verschiedene Weisen wirklichkeitsnah abgewandelt werden.

Bei dem als Data Augmentation bekannten Verfahren werden etwa Bilder auch in gedrehter, skalierter oder auf sonstige Weise veränderter Form zum Training verwendet, um die Robustheit des neuronalen Netzes gegen derartige Transformationen zu erhöhen. Alternativ kann man Trainingsdaten in manchen Fällen auch komplett künstlich erzeugen und arbeitet dann mit sogenannten synthetischen Daten.

Künstliche Intelligenz: Wissensverarbeitung - Neuronale Netze

Braucht es neue Algorithmen

Ebenfalls von hohem Interesse sind Algorithmen, die auch mit Trainingsdaten zurechtkommen, wenn diese unzuverlässig oder gar nicht annotiert sind ("weakly supervised" bzw. "self supervised").

Um Algorithmen schneller auf neue Wissensgebiete anzuwenden, können vortrainierte Netze verwendet werden, die mit überschaubarem Bedarf an Trainingsdaten nur noch in ihren neuen Aufgabenbereich eingelernt werden müssen. Hinter dieser als Transfer Learning bekannten Idee steckt die Einsicht, dass beispielsweise im Bereich der Bilderkennung Objekte praktisch immer aus Kanten, Farbflecken und einfachen geometrischen Formen bestehen und daher die entsprechenden Detektor-Neuronen nicht für jeden Anwendungsfall neu gelernt werden müssen.

Angesichts der Vielzahl von Methoden, deren Auflistung hier bei weitem nicht vollständig ist, stellt sich die Frage: Ist die KI der Zukunft wirklich eine immer größere Sammlung von Tricks, um tiefe neuronale Netze auf stetig zunehmenden Datenmengen zu trainieren, oder müssen fundamental neue Algorithmen gefunden werden?

Gerade der Vergleich mit biologischen Gehirnen und ihrer enormen Flexibilität und Leistungsfähigkeit bei minimalem Energieverbrauch deutet auf letzteres hin.

Helmut Linde leitete verschiedene Data-Science-Teams in deutschen Konzernen und ist nun bei der Covestro AG für die Digitalisierung von Forschung und Entwicklung verantwortlich. Als Mathematiker und Physiker ist er fasziniert von naturwissenschaftlichen Themen sowie der Anwendung und der Zukunft der künstlichen Intelligenz.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Die Neurowissenschaften kommen schnell voran ...
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5


Boandlgramer 22. Jan 2022

... funktioniert das auch in den Schulen so toll! Wir jagen Kinder durch bis zu 20 Jahre...

rudirednoose 18. Jan 2022

Schließe mich dem Lob an, äußerst interessanter Artikel!

jonasz 17. Jan 2022

Eine pauschalisierte Aussage, Neuronen sind nicht viel anders, als Transistoren, haben...



Aktuell auf der Startseite von Golem.de
Liberty Lifter
US-Militär lässt ein eigenes Ekranoplan entwickeln

In den 1960er Jahren schockten die Sowjets den Westen mit dem Kaspischen Seemonster. Die Darpa will ein eigenes, besseres Bodeneffektfahrzeug bauen.

Liberty Lifter: US-Militär lässt ein eigenes Ekranoplan entwickeln
Artikel
  1. Abo: Spielebranche streitet über Game Pass
    Abo
    Spielebranche streitet über Game Pass

    Nach Kritik von Sony gibt es mehr Stimmen aus der Spielebranche, die Game Pass problematisch finden - aber auch klares Lob für das Abo.

  2. Microsoft: Der Android-App-Store für Windows 11 kommt nach Deutschland
    Microsoft
    Der Android-App-Store für Windows 11 kommt nach Deutschland

    Build 2022 Der Microsoft Store soll noch attraktiver werden. So können Kunden ihre Apps künftig ohne lange Wartezeiten direkt veröffentlichen.

  3. Dev Box: Die schnelle und einfache Entwicklungmaschine aus der Cloud
    Dev Box
    Die schnelle und einfache Entwicklungmaschine aus der Cloud

    Build 2022Das Einrichten einzelner Rechner zur Entwicklung kann viel Aufwand machen. Mit der Dev Box aus der Cloud will Microsoft das vereinfachen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Xbox Series X bestellbar • Samsung SSD 1TB 79€ • LG OLED TV 77" 56% günstiger: 1.099€ • Alternate (u. a. Cooler Master Curved Gaming-Monitor 34" UWQHD 144 Hz 459€) • Sony-Fernseher bis zu 47% günstiger • Cyber Week: Alle Deals freigeschaltet • Samsung schenkt 19% MwSt.[Werbung]
    •  /