Neue Raspberry Pi-Erweiterung führt KI-Modelle lokal aus

Die Raspberry Pi-Serie wird jetzt besser auf die derzeitigen An­for­de­run­gen eingestellt. Ein neues System ist von den Spezifikationen her darauf ausgelegt, selbst lokal komplexe KI-Anwendungen ausführen zu können.

Hauptsystem entlasten

Die jetzt vorgestellte Platine mit dem Namen AI HAT+ 2 kostet rund 130 Dollar und stellt damit eine kostspieligere, aber deutlich aufgerüstete Version des bereits 2023 erschienenen AI HAT+ dar. Die neue Erweiterung für den Raspberry Pi 5 bringt 8 GB eigenen Arbeitsspeicher sowie einen Hailo-10H-Beschleunigerchip mit, der laut Hersteller eine Rechenleistung von bis zu 40 TOPS bietet.

KI-Berechnungen können somit vollständig vom Hauptprozessor eines Raspberry Pi ausgelagert werden. Während das HAT+ 2 die Modellverarbeitung übernimmt, bleibt der ARM-Chip des Raspberry Pi 5 für weitere Aufgaben frei. Im Gegensatz zum Vorgänger, der hauptsächlich für Bildverarbeitung gedacht war, unterstützt die neue Version nun auch kompakte generative KI-Modelle. Dazu zählen etwa Llama 3.2, DeepSeek-R1-Distill und verschiedene Qwen-Modelle. Anwender können Modelle nicht nur ausführen, sondern auch trainieren oder feinjustieren.


Ein nun gezeigter Prototyp demonstrierte mehrere Einsatzszenarien: So erzeugt ein Modell automatisch textliche Beschreibungen eines Kamerastreams und beantwortet Fragen zur dargestellten Szene. Ein weiteres Beispiel zeigt eine Echtzeitübersetzung aus dem Französischen ins Englische mithilfe des Qwen2-Modells.

Leistung eingeschränkt

Allerdings stößt die Platine nicht nur auf Begeisterung. Tech-YouTuber Jeff Geerling stellte in eigenen Tests fest, dass ein Raspberry Pi 5 mit 8 GB RAM bei vielen unterstützten KI-Modellen die Erweiterung klar übertrifft. Ursache sei die verfügbare Energie: Während der Raspberry Pi 5 bis zu 10 Watt aufnimmt, darf das HAT+ 2 lediglich 3 Watt nutzen - eine Einschränkung, die die maximale Rechenleistung bremst.

Geerling betont zudem, dass die zusätzlichen 8 GB des HAT+ 2 "nicht ausreichen, um einen deutlichen Vorteil gegenüber einem Pi 5 mit 16 GB RAM zu erzielen", der flexibler sei und KI-Modelle schneller ausführe. Daher sollten Nutzer vor einem Kauf genau abwägen, ob der Raspberry Pi selbst mit anderen Aufgaben hinreichend beschäftigt ist, um eine Auslagerung von KI-Berechnungen notwendig zu machen.

Raspberry Pi kündigte an, dass weitere und größere Systeme bereits in Vorbereitung seien und kurz nach dem Marktstart zur Installation bereitstehen sollen. Damit könnte das HAT+ 2 langfristig attraktiver werden, auch wenn es zum Start noch nicht in allen Bereichen überzeugen kann.
Siehe auch: