Anpassbar mittels fine-tuning, größere Modelle in Arbeit
Mittels Low-Rank Adaptation(öffnet im neuen Fenster) (Lora) ist eine Anpassung an eigene Bedürfnisse (fine-tuning) möglich. Es wird nur ein Bruchteil der Parameter angepasst. Abseits der Modellparameter nutzt Taalas eine eigene Hardware-Plattform für mathematische Operationen und KV Cache. Gewichte werden in der ersten Version HC1 auf 3- oder 6-Bit-Datentypen quantisiert.
Aktuell arbeitet das Start-up an einer zweiten Version HC2, die 4-Bit-Datentypen nutzen soll. An deren Standardisierung arbeitet wiederum die IEEE Arbeitsgruppe 3109 ( aktueller Zwischenbericht, PDF(öffnet im neuen Fenster) ).
Größere Modelle bereits in Planung
Bevor der erste Chip auf Basis von HC2 kommt – Taalas plant dies für den Winter 2026/27 -, ist eine zweite HC1-Variante in der Entwicklung. Mit den Chips rechnet das Start-up im Frühling 2026, diese sollen ein "Reasoning-Modell mittlerer Größe" implementieren. Das impliziert Dutzende, möglicherweise einige hundert Milliarden Parameter.
Da bereits Llama 3.1 mit acht Milliarden Parametern die technisch realisierbare Chip-Größe fast ausnutzt, dürfte es sich um eine Multi-Chip-Lösung handeln. Mit HC2 soll dann ein Frontier Model, also eines der technisch führenden und damit größten, implementiert werden.
Bis dahin können die Llama-Chips ausprobiert werden, entweder direkt im Browser(öffnet im neuen Fenster) oder per API. Dafür ist allerdings eine Anmeldung erforderlich.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.