40 TOPS, eigener Speicher: AI Hat+ 2 beschleunigt generative KI auf dem Raspberry Pi 5
Die Raspberry Pi Ltd. ist zwar bereits mit dem in zwei Varianten angebotenen AI Hat+ auf den KI-Zug aufgesprungen. Die eignen sich allerdings nur für kleinere Modelle, etwa zur Analyse von Bildern. Für Generative KI wie Sprachmodelle (LLMs, Large Language Models) hingegen eignen sich die Erweiterungen aufgrund des begrenzten Speichers der verbauten Hailo-8-Chips nicht.
Diese Lücke soll der neu vorgestellte AI Hat+ 2(öffnet im neuen Fenster) schließen. Nutzbar ist er ausschließlich auf dem Raspberry Pi 5, da er per PCIe angebunden wird. Auf dem AI Hat+ 2 ist mit dem Ende Juli 2025 vorgestellten Hailo-10H(öffnet im neuen Fenster) wieder ein Beschleuniger des israelischen Unternehmens Hailo verbaut. Der kann eigenen LPDDR4(X)-Speicher über einen 32-Bit-Bus anbinden. Auf dem AI Hat+ 2 sind 8 GByte LPDDR4-RAM von Micron mit 4.266 MT/s(öffnet im neuen Fenster) verbaut.
Damit liegt die theoretische Speicherbandbreite bei rund 17 GByte/s – deutlich mehr als über die eine PCIe-3.0-Lane des Raspberry Pi 5 erreichbar ist. Da der Hailo-10H zudem 4-Bit-Datentypen unterstützt (Int4), ist die Nutzung von Modellen mit über 10 Milliarden Parametern denkbar. Die laufen lokal, unabhängig von Clouddiensten oder auch nur einer Internetanbindung.
Bislang wenige, aber anpassbare Modelle
Ob sich allerdings Modelle sinnvoll so stark quantisieren lassen, ist fraglich. In einem Beispiel nutzt Hailo Qwen2-1.5B-Instuct (1,5 Milliarden Parameter). Hier wurden lediglich die Gewichtsparameter auf 4 Bit quantisiert, Aktivierungswerte und KV-Cache auf 8 Bit. Das Modell belegt so 1,2 GByte.
Int4 und Int8 scheinen auch die einzigen Datentypen zu sein, die der Chip unterstützt, zumindest finden sich lediglich hierzu Leistungsangaben. Mit Int4 kommt der Chip auf 40 Tops, mit Int8 auf die Hälfte. Im bereits erwähnten Qwen-Beispiel reicht das für knapp 9,5 generierte Tokens pro Sekunde (TPS). Dabei soll die Leistungsaufnahme des Hailo-Chips im Mittel bei nur 2,1 Watt liegen.
Zum Start des AI Hat+ 2 sind lediglich fünf KI-Modelle fertig verfügbar: Neben Llama 3.2 mit 1 Milliarde Parametern Deepseek-R1-Distill, Qwen2, Qwen2.5-Coder und -Instruct mit je 1,5 Milliarden Parametern. Weitere, auch größere Modelle sollen folgen, der AI Hat+ 2 ist, wie seine Vorgänger, in den Raspberry-Pi-Kamera-Stack eingebunden. Das können etwa VLMs (Vision Language Models), die Szenen beschreiben, nutzen. Mittels Feintuning können Modelle über Hailos Dataflow Compiler an eigene Bedürfnisse angepasst werden, etwa um auf einer eigenen Wissensbasis zu arbeiten.
Raspberry Pi AI Hat+ 2: Preis und Verfügbarkeit
Trotz vergleichbarer Leistung und eigenem RAM ist der AI Hat+ 2 mit 130 US-Dollar kaum teurer als das 26-Tops-Modell des Vorgängers. Dessen Preis liegt bei 110 US-Dollar. Erste deutsche Händler bieten den AI Hat+ 2 bereits für rund 140 Euro an.