Zusammenfassung:
NVIDIA hat kürzlich während der IFA 2026 offiziell die Betaversion des Personal AI Router (PAIR) vorgestellt. Dabei handelt es sich um eine kostenlose Open-Source-Software. Es handelt sich nicht um einen Netzwerk-Hardware-Router im herkömmlichen Sinne, sondern um einen „virtuellen Router“ für lokale KI-Inferenz. Es kann automatisch kompatible Computer im selben LAN erkennen, die ungenutzte Rechenleistung mehrerer Geräte organisieren und ausreichendere Inferenzressourcen für KI-Agenten und lokale große Modellaufgaben bereitstellen.
Eine von NVIDIA angekündigte Demonstration eines Fünf-Kind-Agenten spiegelt ebenfalls die Wirkung dieses Ansatzes wider. Mit Hermes Desktop und Ollama benötigte ein aus drei Geräten bestehender PAIR-Cluster 8 Minuten und 48 Sekunden, um die Aufgabe abzuschließen, während ein einzelnes RTX Spark-Notebook 18 Minuten benötigte. NVIDIA geht davon aus, dass dies zeigt, dass die Nutzung der ungenutzten Rechenleistung mehrerer Geräte im Heimnetzwerk den Durchsatz lokaler Multitasking-KI deutlich verbessern kann.
Ein wichtiges Urteil hinter PAIR ist, dass Heimanwender häufig bereits mehrere Computer mit bestimmten Rechenkapazitäten besitzen, diese Geräte jedoch die meiste Zeit im Leerlauf sind. Von Nvidia zitierte Daten weisen darauf hin, dass mehr als die Hälfte der Haushalte in den Vereinigten Staaten zwei oder mehr Computer besitzen, sodass eine große Anzahl von GPUs und anderen Computerressourcen für einen beträchtlichen Teil des Tages nicht vollständig genutzt werden. Für Familien mit Gaming-Computern, Laptops und anderen Hochleistungsgeräten versucht PAIR, diese ursprünglich unabhängigen Geräte in einen Pool von Computerressourcen umzuwandeln, die gemeinsam die lokale KI bedienen können.
Das technische Team von NVIDIA schätzt sogar, dass im Extremfall etwa 165 TFLOPS an ungenutzter Rechenleistung in einem Haushalt vorhanden sein könnten. Der zuständige Verantwortliche bezeichnete diese nicht vollständig genutzte lokale Rechenleistung als „ungenutzte kostenlose Token-Ressourcen zu Hause“. NVIDIA geht jedoch davon aus, dass typische Benutzer, die wirklich für PAIR geeignet sind, nicht über eine so übertriebene Gerätegröße verfügen müssen. Eine realistischere Konfiguration könnte ein MacBook oder Windows-Notebook sowie ein Gaming-PC sein.
Zusätzlich zu PAIR kündigte NVIDIA dieses Mal auch an, die Bereitstellung lokaler KI-Agenten weiter zu vereinfachen. Drei KI-Agent-Software, darunter Perplexity Portable Computer, Hermes Agent und OpenClaw, werden einfachere lokale Konfigurationsmethoden für NVIDIA-GPUs bereitstellen. In der Vergangenheit mussten Benutzer häufig Modelle auswählen, kompatible Inferenzserver finden, Quantisierungsparameter anpassen und verschiedene Konfigurationen abschließen. Die neue Lösung soll diesen Vorgang auf wenige Klicks komprimieren.
Unter anderem konnte Perplexity Portable Computer zuvor auf NVIDIA RTX-GPUs mit mindestens 24 GB Videospeicher und DGX Spark auf Linux-Systemen laufen, und die Windows-Version ist ebenfalls in Arbeit. Es ermöglicht Benutzern, einen größeren Teil ihrer Arbeitsabläufe vor Ort zu behalten und sich für die Verwendung von Cloud-Modellen zu entscheiden, wenn zusätzliche Such- oder stärkere Inferenzfunktionen erforderlich sind. Das System holt die Zustimmung des Benutzers ein, bevor es Inhalte an die Cloud übergibt.
Hermes Agent, entwickelt von Nous Research, ist ein Allzweck-KI-Agent. Die lokale Konfiguration der Windows-Version unterstützt die Modellbereitstellung mit einem Klick. Die Software kann die NVIDIA-GPU automatisch identifizieren, das entsprechende Modell und die entsprechende Konfiguration entsprechend der Hardware auswählen und über die integrierte, für NVIDIA optimierte Datei lama.cpp ausführen. Die Linux-Unterstützung wird zu einem späteren Zeitpunkt eingeführt. Nach der Ausführung kann Hermes Tools aufrufen, den Kontext über Aufgaben hinweg beibehalten, sich Informationen aus verschiedenen Sitzungen merken und durch die Verwendung wiederverwendbare Fähigkeiten ansammeln.
OpenClaw erhält außerdem eine vereinfachte Bereitstellungslösung für Windows. Nvidia sagte, dass OpenClaw zu einem wichtigen Projekt im offenen KI-Agenten-Ökosystem geworden sei und die Projektgröße auf GitHub 380.000 Sterne überschritten habe. Die neue Windows-Anwendung senkt den Schwellenwert für die lokale Modellkonfiguration und erleichtert Benutzern mit mindestens 24 GB NVIDIA RTX-GPU-Videospeicher das Starten lokaler KI-Assistenten.
Um die Reaktionsgeschwindigkeit des lokalen KI-Agenten weiter zu verbessern, kündigte NVIDIA gleichzeitig auch die Inferenzoptimierung für llama.cpp und vLLM an. Basierend auf einer neuen Kernel-Optimierung, einer fortschrittlicheren spekulativen Dekodierung und einer schnelleren Prefill-Verarbeitung kann der Durchsatz von llama.cpp auf GeForce RTX 5090 um das bis zu 1,9-fache gesteigert werden; Die vLLM-Leistung kann auf der RTX PRO 6000 Blackwell Workstation Edition um das bis zu 1,2-fache und auf einem Cluster bestehend aus zwei DGX Sparks um das bis zu 1,4-fache verbessert werden. Diese Optimierungen sind bereits über die entsprechenden Inferenz-Backends verfügbar und auch in LM Studio und Ollama verfügbar.
Nvidia gab dieses Mal auch bekannt, dass voraussichtlich im Oktober neue kleine Windows-KI-Computer mit der RTX-Spark-Plattform auf den Markt kommen werden. Mit zunehmender Reife dieser lokalen KI-orientierten Hardware, Inferenzsoftware und KI-Agenten-Tools fördert NVIDIA eindeutig eine andere Art der Nutzung traditioneller Cloud-KI: Benutzer müssen nicht alle Aufgaben an entfernte Rechenzentren übergeben, sondern können GPUs und andere Geräte direkt zu Hause verwenden, um ihre eigene lokale KI-Computing-Umgebung aufzubauen.
PAIR befindet sich noch im Beta-Stadium und das Projekt wurde als Open Source veröffentlicht. Entwickler können den Quellcode einsehen, Probleme einreichen und an Verbesserungen teilnehmen. NVIDIA hofft, dass die lokale KI durch PAIR schrittweise von „einem einzelnen Hochleistungscomputer, auf dem ein Modell ausgeführt wird“ zu „mehreren Heimgeräten, die sich die KI-Arbeitslast teilen“ übergeht, und dies könnte nach der weiteren Popularisierung lokaler KI-Agenten auch zu einem neuen Computermodell werden.
Kommentare