Neue KI-Architektur: Was ist Baby Dragon Hatchling?
Ein Team polnischer Wissenschaftler des Start-ups Pathway(öffnet im neuen Fenster) hat dieser Tage einen Durchbruch in der KI-Forschung gemeldet. Sie behaupten, das als Generalisierung über die Zeit bekannte Kernproblem gelöst zu haben. Es bezeichnet eine Herausforderung, die in Expertenkreisen als eines der großen Probleme der KI gilt(öffnet im neuen Fenster) .
Das Problem der Generalization Over Time in der KI, oft auch Temporal Generalization oder Out-of-Distribution Generalization Over Time genannt, beschreibt die Schwierigkeit von Modellen, robust über längere Zeiträume hinweg zu funktionieren, wenn sich die Welt, die Daten oder die Aufgaben verändern.
Kurz gesagt: Ein KI-Modell, das heute gute Ergebnisse liefert, kann morgen versagen, weil sich die Bedingungen geändert haben.
Ermöglicht wurde der angebliche Durchbruch durch eine neuartige KI-Architektur, die eine digitale Netzwerkstruktur nach dem Vorbild des Gehirns erzeugt und der KI so erlaubt, ähnlich wie ein Mensch zu lernen und zu Schlussfolgerungen zu gelangen. Das Paper der Forscher wird aktuell noch geprüft.
Im Zentrum steht ein Large Language Model (LLM) namens Baby Dragon Hatchling (BDH)(öffnet im neuen Fenster) . Dieses als "post-Transformer" bezeichnete Modell weicht fundamental von den gängigen Transformer-Architekturen ab.
Statt in starren Ebenen oder Sequenzen verarbeitet BDH die Informationen in einem skalenfreien, biologisch inspirierten Netzwerk aus vielen lokal interagierenden künstlichen Neuronen. Diese Architektur erzielte bereits eine Leistungsfähigkeit vergleichbar mit GPT-2, einem bekannten Sprachmodell. Sie wurde jedoch von vornherein auf Nachvollziehbarkeit ausgelegt, so dass ihre inneren Schlussfolgerungsprozesse für Forscher transparenter sind(öffnet im neuen Fenster) .
Spontane Selbstorganisation
Ein technisches Merkmal von BDH ist die spontane Selbstorganisation seiner neuronalen Struktur während des Trainings. Die Funktionseinheiten werden nicht im Voraus von Ingenieuren festgelegt, vielmehr bilden sich modulare Netzwerkeigenschaften von selbst heraus. Dabei entsteht ein Muster, das dem Neocortex, der Hirnrinde von Säugetieren, auffällig ähnelt.
Dieser Bereich des Gehirns ist für höhere kognitive Funktionen wie Wahrnehmung, Gedächtnis, Lernen und Entscheidungen zuständig. Entsprechend zeigt BDH ähnliche Fähigkeiten. Es bildet eigenständig wissensähnliche Strukturen aus und kann Informationen verarbeiten und speichern, was einem lernenden Gehirn nachempfunden ist. Die Entwickler betrachten dieses emergente, gehirnartige Netzwerk als Schlüssel, um echte maschinelle Intelligenz zu erreichen.
Das Netzwerk wächst weiter, ohne das Gelernte zu destabilisieren
Mit BDH adressiert Pathway direkt die Generalisierung über die Zeit. Darunter ist die Fähigkeit eines Systems zu verstehen, kontinuierlich zu lernen und erworbenes Wissen in neuen, veränderten Situationen anzuwenden. Während heutige Transformer-basierte KI-Modelle zwar sehr leistungsfähig sind, bleiben sie in gewissem Sinne statisch.
Sie können Muster aus früheren Daten erkennen, haben aber nur begrenzte Fähigkeiten, sich auf völlig neue Kontexte oder fortlaufende Veränderungen einzustellen. BDH dagegen soll eine potenziell unbegrenzte Gedankenkette besitzen, also über längere Zeiträume schlussfolgern, da seine Architektur kein festes Kontextfenster hat, sondern Wissen fortlaufend integriert.
Neue Informationen lassen das Netzwerk weiterwachsen, ohne das bereits Gelernte zu destabilisieren. So soll das Modell selbst auf unvorhergesehene Eingaben vorhersagbar und zuverlässig reagieren, anstatt plötzliches Fehlverhalten zu zeigen. Diese Eigenschaft gilt als entscheidend auf dem Weg zu tatsächlich autonomen KI-Systemen.
BDH wird von den Forschern als Paradigmenwechsel gegenüber herkömmlichen KI-Ansätzen bewertet. Durch die lokalen Neuronen-Interaktionen und die skalenfreie Struktur eröffnen sich weitere Vorteile. So arbeitet BDH transparenter als Black-Box-Systeme. Die interne Arbeitsweise lässt sich leichter analysieren, was dabei hilft, Risiken besser einzuschätzen und die Betriebssicherheit zu erhöhen.
In seinem technischen Bericht demonstriert das Team etwa, wie BDH theoretisch das sogenannte Büroklammerfabrik-Problem entschärfen kann – ein Gedankenexperiment, in dem eine superintelligente KI mit eigentlich harmloser Zielvorgabe unerwünschtes Verhalten entwickelt.
Hohe Effizienz
Darüber hinaus ist BDH komponierbar: Mehrere BDH-Instanzen lassen sich zu größeren Systemen verbinden, wobei emergente Fähigkeiten entstehen können – ähnlich wie ein bilingual aufwachsendes Kind durch das Zusammenspiel zweier Sprachen zusätzliche kognitive Fertigkeiten entwickelt.
Erste Testergebnisse deuten zudem auf hohe Effizienz hin. BDH erreicht bereits mit universeller Hardware eine konkurrenzfähige Leistung und könnte auf spezialisierter KI-Hardware sogar schneller und kosteneffektiver skalieren, da es mit geringerer Latenz kontinuierlich Texte erzeugen kann.
Fabian Deitelhoff(öffnet im neuen Fenster) ist IT-Leiter bei Sportnavi.de GmbH und als Gründer in der MINT-Bildung tätig. Seine Schwerpunkte sind Low- und No-Code, generative KI und digitale Geschäftsmodelle.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.