Portable Computer: Perplexity startet lokale KI ganz ohne Cloud

Autark, datenschutzfreundlich, aber extrem hardwarehungrig: Perplexity veröffentlicht den "Portable Computer" für lokale KI-Agenten. Das Modell berechnet Aufgaben direkt auf dem eigenen System und weicht nur im Notfall auf externe Cloud-Server aus.

Lokale KI-Agenten für den PC

Perplexity hat heute Portable Computer vorgestellt. Hinter diesem Namen verbirgt sich eine Plattform, die es ermöglicht, KI-Agenten vollständig auf vorhandener Hardware auszuführen. Unterstützt werden unter anderem Nvidias DGX-Spark-Desktop-Supercomputer und Linux-Rechner mit Nvidia-RTX-Grafikkarten.

Die lokale Ausführung soll Kosten und Datenschutzbedenken bei der Nutzung künstlicher Intelligenz verringern. Für die Verarbeitung der Anfragen fallen keine Gebühren an. Das System arbeitet in einer isolierten Umgebung und kann auf Werkzeuge wie Gmail oder GitHub zugreifen. Sensible Unternehmensdaten müssen dadurch nicht an Server von Drittanbietern übertragen werden.


Wie das Unternehmen auf seiner Webseite erklärt, übernimmt ein lokaler Orchestrator die Planung der Aufgaben. Derzeit stehen Qwen 3.8 27B und eine angepasste Version namens PPLX 27B zur Verfügung. Die Modelle sollen Suchanfragen effizient verarbeiten und komplexe Codestrukturen analysieren.

Hohe Anforderungen an die Hardware

Für den Betrieb benötigen Anwender eine Grafikkarte mit mindestens 24 Gigabyte Videospeicher. Das entspricht etwa einer GeForce RTX 3090 oder einem neueren Modell. Die Software ist auf Nvidias CUDA-Architektur ausgelegt.

Der Zugang ist zunächst zahlenden Abonnenten der Pro- und Enterprise-Tarife vorbehalten. Die Plattform läuft derzeit nur unter Linux, etwa auf Ubuntu. Eine Windows-Version soll im September folgen. Apple-Rechner werden vorerst nicht unterstützt, da die erforderlichen Bibliotheken nicht für die Silicon-Architektur verfügbar sind.

Portable Computer auf NVIDIA DGX Spark: Der Local-First-Agent-Stack ist da.

Hybrider Ansatz spart Kosten

Portable Computer folgt dem Ansatz, KI-Aufgaben teilweise von Rechenzentren auf die Geräte der Nutzer zu verlagern. Übersteigt eine Anfrage die Möglichkeiten des lokalen Rechners, bittet das System um Erlaubnis, auf ein leistungsfähigeres Cloud-Modell auszuweichen.

Für Anwender entfallen bei der lokalen Verarbeitung laufende Gebühren. Zudem bleiben sensible Dokumente auf dem eigenen Gerät. Dem stehen die hohen Kosten und der Energiebedarf geeigneter Hardware gegenüber. Auch die zunächst fehlende Unterstützung für Apple-Betriebssysteme schränkt die Nutzung ein.

Kompakte Sprachmodelle erreichen bei komplexen Logikaufgaben weiterhin nicht immer das Niveau großer Cloud-Modelle. Der hybride Ansatz ermöglicht es Nutzern jedoch, lokale Verarbeitung und externe Dienste je nach Aufgabe zu kombinieren.

Würdet ihr für mehr Datenschutz in teure lokale Hardware investieren oder reicht euch die Cloud? Teilt eure Meinung in den Kommentaren!

Download Comet - KI-Webbrowser von Perplexity
Siehe auch: