Neue KI-Architektur: Was ist Baby Dragon Hatchling?
Inhalt
Ein Team polnischer Wissenschaftler des Start-ups Pathway(öffnet im neuen Fenster) hat dieser Tage einen Durchbruch in der KI-Forschung gemeldet. Sie behaupten, das als Generalisierung über die Zeit bekannte Kernproblem gelöst zu haben. Es bezeichnet eine Herausforderung, die in Expertenkreisen als eines der großen Probleme der KI gilt(öffnet im neuen Fenster) .
Das Problem der Generalization Over Time in der KI, oft auch Temporal Generalization oder Out-of-Distribution Generalization Over Time genannt, beschreibt die Schwierigkeit von Modellen, robust über längere Zeiträume hinweg zu funktionieren, wenn sich die Welt, die Daten oder die Aufgaben verändern.
Kurz gesagt: Ein KI-Modell, das heute gute Ergebnisse liefert, kann morgen versagen, weil sich die Bedingungen geändert haben.
Ermöglicht wurde der angebliche Durchbruch durch eine neuartige KI-Architektur, die eine digitale Netzwerkstruktur nach dem Vorbild des Gehirns erzeugt und der KI so erlaubt, ähnlich wie ein Mensch zu lernen und zu Schlussfolgerungen zu gelangen. Das Paper der Forscher wird aktuell noch geprüft.
Im Zentrum steht ein Large Language Model (LLM) namens Baby Dragon Hatchling (BDH)(öffnet im neuen Fenster) . Dieses als "post-Transformer" bezeichnete Modell weicht fundamental von den gängigen Transformer-Architekturen ab.
Statt in starren Ebenen oder Sequenzen verarbeitet BDH die Informationen in einem skalenfreien, biologisch inspirierten Netzwerk aus vielen lokal interagierenden künstlichen Neuronen. Diese Architektur erzielte bereits eine Leistungsfähigkeit vergleichbar mit GPT-2, einem bekannten Sprachmodell. Sie wurde jedoch von vornherein auf Nachvollziehbarkeit ausgelegt, so dass ihre inneren Schlussfolgerungsprozesse für Forscher transparenter sind(öffnet im neuen Fenster) .
Spontane Selbstorganisation
Ein technisches Merkmal von BDH ist die spontane Selbstorganisation seiner neuronalen Struktur während des Trainings. Die Funktionseinheiten werden nicht im Voraus von Ingenieuren festgelegt, vielmehr bilden sich modulare Netzwerkeigenschaften von selbst heraus. Dabei entsteht ein Muster, das dem Neocortex, der Hirnrinde von Säugetieren, auffällig ähnelt.
Dieser Bereich des Gehirns ist für höhere kognitive Funktionen wie Wahrnehmung, Gedächtnis, Lernen und Entscheidungen zuständig. Entsprechend zeigt BDH ähnliche Fähigkeiten. Es bildet eigenständig wissensähnliche Strukturen aus und kann Informationen verarbeiten und speichern, was einem lernenden Gehirn nachempfunden ist. Die Entwickler betrachten dieses emergente, gehirnartige Netzwerk als Schlüssel, um echte maschinelle Intelligenz zu erreichen.