Zum Hauptinhalt Zur Navigation Zur Suche

Wissensarbeit: Perplexitys lokaler KI-Agent soll Hermes und Pi übertreffen

Agenten bräuchten für lokale KI eine andere Abstimmung, erklärt Perplexity, und liefert Modell und Agent. Uneigennützig ist das nicht.
/ Johannes Hiltscher
3 Kommentare Auf Google folgen (öffnet im neuen Fenster)
Wer Agent und Modell zu Hause hat, muss keine Daten in die Cloud schicken. (Bild: Pavel Danilyuk, Pexels)
Wer Agent und Modell zu Hause hat, muss keine Daten in die Cloud schicken. Bild: Pavel Danilyuk, Pexels / CC0 1.0

KI-Agenten mit lokal gehosteten Modellen erfreuen sich steigender Beliebtheit, denn Letztere werden immer leistungsfähiger. Der Anbieter Perplexity AI ist jedoch nach eigenen Angaben zu dem Schluss gekommen(öffnet im neuen Fenster), dass beliebte Agenten wie Hermes oder Pi die kleinen lokalen Modelle überlasten.

Sie bräuchten andere Ansätze, da Agenten auf große Frontier-Modelle ausgelegt seien. Besser machen soll es das eigene System Portable Computer(öffnet im neuen Fenster).

Dieses nutzt für alle Aufgaben erst einmal ein lokales Modell. Wenn das überfordert ist, leitet der Agent Anfragen an ein Cloud-Modell weiter. Davor fragt er wie bei jeder externen Aktion um Erlaubnis. So sollen Nutzer die Kontrolle behalten, welche Daten in die Cloud gehen.

Eingeschränkte Auswahl an lokalen Modellen

Für Cloud-Modelle fungiert Perplexity als Router. Neben dem Harness, der Umgebung aus System-Prompts und Scripts für die Nutzung externer Software-Tools, stellt Perplexity auch ein nachtrainiertes Modell bereit.

Denn die Einbindung des Modells bringt Portable Computer gleich mit. Aktuell können Qwen 3.8 27B oder das darauf aufbauende PPLX 27B genutzt werden. Perspektivisch soll noch das mit 30 Milliarden Parametern etwas größere Nemotron 3.5 Lightning von Nvidia folgen.

Offiziell unterstützt wird aktuell auch nur Nvidia-Hardware, idealerweise sieht Perplexitiy einen DGX Spark vor. Eine GPU mit mindestens 24 GByte RAM genügt aber auch.

Einfachere Prompts, bessere Ergebnisse

Perplexitys Agent soll im Vergleich zu freien Alternativen kompakter sein. Standardmäßig werden kurze System-Prompts und wenige Werkzeuge verwendet.

Für spezielle Aufgaben werden bei Bedarf weitere Fähigkeiten in Form der auch von Openclaw bekannten Skills (g+) nachgeladen. Als Grund gibt Perplexity an, dass etwa Qwen 3.8 zwar eine Kontextlänge von 260.000 Tokens unterstütze, eigene Erfahrungen aber gezeigt hätten, dass das Modell ab etwa 100.000 Tokens zunehmend schlechtere Ergebnisse liefere. Entsprechend werde versucht, den Aufwand für den Agenten klein zu halten.

Für Werkzeuge versuche der Anbieter zudem, auf MCP (Model Context Protocol) zu verzichten. Stattdessen seien meisten in kleine Kommandozeilen-Tools und zugehörige Skills verpackt. Im Gegensatz zu anderen Agenten sollen sämtliche Werkzeuge zudem generell nur in einer Sandbox laufen, was für mehr Sicherheit sorge.

Die Ergebnisse des Agenten würden zudem in einem zusätzlichen Schritt verifiziert. Das bedeute zwar mehr Aufwand, führe aber zu besseren Ergebnissen.

In von Perplexity gezeigten Benchmarks schneidet dessen Agent teils deutlich besser ab als Hermes und Pi. Zudem benötigt er weniger Tokens, wodurch Anfragen deutlich schneller bearbeitet werden.

Noch besser schneidet der Agent mit PPLX ab, einem Modell, das Perplexity mit anhand von Nutzungsdaten erstellten synthetischen Trainingsdaten im Harness nachtrainiert hat. In einem eigenen, nur grob umrissenen Benchmark erreicht Portable Computer Werte von 85,4 und 82,6 Prozent mit PPLX und Qwen 3.8. Hermes und Pi kommen mit Letzterem auf 74 und 77,6 Prozent. Der Benchmark soll verschiedenste Arten von Wissensarbeit abbilden, wobei Recherche mit fast 38 Prozent der Aufgaben dominiert.

Perplexity hat nichts zu verschenken

Ein wenig ernüchternd ist hingegen ein gezeigter Leistungsvergleich in Terminal Bench 2.1: Portable Computer mit Qwen 3.8 holt durch Zugriff auf Anthropics Opus 5 zwar 60 Prozent der Leistungsdifferenz auf, kostet aber nur 36 Prozent weniger im Vergleich zu ausschließlicher Nutzung von Opus 5.

Und so altruistisch, wie es vielleicht zunächst klingt, ist Perplexitys Angebot nicht. Ganz unten am Ende der Produktseite findet sich ein kleiner Hinweis: Nutzen können Portable Computer nur Pro- und Max-Abonnenten, die Abos kosten monatlich 20 und 200 US-Dollar. Auch Websuchen laufen über Perplexity.


Relevante Themen