Zusammenfassung:
Framework hat am 30. September offiziell die Vorbestellungen für den neuen Framework Desktop mit AMD Ryzen AI Max+ PRO 495-Prozessor eröffnet. Obwohl dieser Mini-Desktop-Computer für lokales KI-Computing extrem teuer ist (die DIY-Version beginnt bei 6.799 US-Dollar), war die erste Produktcharge innerhalb weniger Stunden nach der Online-Veröffentlichung schnell ausverkauft, was zeigt, dass eine starke Nachfrage nach einheitlichem Speicher mit großer Kapazität für den lokalen Betrieb großer KI-Modelle besteht.
Die von Framework eingeführte Flaggschiff-Konfiguration verwendet AMD Ryzen AI Max+ PRO 495, einen Prozessor der neuen Generation mit dem Codenamen „Gorgon Halo“, und ist mit 192 GB LPDDR5X-8533 Unified Memory ausgestattet. Verglichen mit der maximalen Konfiguration des vorherigen Framework Desktop von 128 GB fügt die neue Version jeweils 64 GB Speicher hinzu, sodass größere lokale KI-Modelle direkt auf einen einzelnen Computer geladen werden können, ohne dass häufig einige Modellgewichte auf SSDs gelegt oder ein Cluster über mehrere Computer gebildet werden müssen.
Ryzen AI Max+ PRO 495 verwendet eine 16-Kern-Zen-5-CPU mit einer maximalen Beschleunigungsfrequenz von 5,2 GHz, ausgestattet mit 64 MB Level-3-Cache, einer Standard-TDP von 55 W, einer cTDP von bis zu 120 W und einer integrierten Radeon 8065S-GPU. CPU und GPU teilen sich einen einheitlichen Speicher, was einer der wichtigen Gründe dafür ist, dass dieses Produkt besonders für lokale KI-Inferenz geeignet ist. Framework sagte, dass 192 GB Arbeitsspeicher es Benutzern ermöglichen, große Modelle auszuführen, die bisher auf normalen Verbraucher-PCs nur schwer vollständig in den Arbeitsspeicher geladen werden konnten.
Im Vergleich zum Vorgänger Ryzen AI Max+ 395 erhöht der PRO 495 nicht nur die Speicherkapazität, sondern verfügt auch über höhere CPU- und GPU-Taktfrequenzen und erhöht die einheitliche Speicherrate auf 8533 MT/s. Framework sagte, dass diese Änderungen die KI-Inferenzgeschwindigkeit weiter verbessern können.
Die von Framework bereitgestellte 192-GB-Version umfasst dieses Mal die DIY Edition und die vollständige Host-Version des vorinstallierten Systems. Die DIY-Edition beginnt bei 6.799 US-Dollar und beinhaltet 192 GB einheitlichen Speicher, aber keinen vorinstallierten Speicher. Für Benutzer, die bereits über eine SSD verfügen oder ihre eigene Speicherlösung wählen möchten, kann diese Konfiguration einige Kosten senken.
Wenn Sie sich für die vollständige vorinstallierte Version entscheiden, beträgt der Preis 7.449 $. Diese Version verfügt über eine 2 TB NVMe PCIe 4.0 SSD und ist mit dem Betriebssystem Fedora 44 KDE Plasma Edition vorinstalliert. Mit anderen Worten: Wenn man nur eine 2-TB-SSD und ein vorinstalliertes System hinzufügt, ist der Preis für die gesamte Maschine 650 US-Dollar höher als für die DIY-Version.
Zum Vergleich: Der aktuelle Framework Desktop mit Ryzen AI Max+ 395 und 128 GB Speicher kostet etwa 3.449 US-Dollar. Die neue 192-GB-Version verfügt über 50 % mehr Speicher und einen verbesserten Prozessor, aber die DIY-Version ist fast doppelt so teuer wie die ursprüngliche 128-GB-Version.
Ein so hoher Preis steht in direktem Zusammenhang mit der anhaltenden Spannung auf dem Speichermarkt. Framework hat bereits mehrfach erklärt, dass die Kosten für LPDDR5X-Speicher mit hoher Kapazität erheblich steigen, insbesondere das knappe Angebot an 128-Gbit-Speicherpartikeln mit hoher Dichte, was sich ganz offensichtlich auf die Kosten für Unified-Memory-Geräte mit großer Kapazität auswirkt. Der Preis dieser 192-GB-Version ist daher deutlich höher als die bisherige reguläre Konfiguration von Framework Desktop.
Tatsächlich gab Framework vor der offiziellen Öffnung des Produkts zur Vorbestellung an, dass aufgrund des begrenzten Speicherbestands zunächst nur eine Charge von 192-GB-Gorgon-Halo-Systemen bereitgestellt werden könne. Nachdem die Vorbestellungen am 30. September begannen, war die erste Produktcharge schnell ausverkauft. Framework teilte später mit, dass es dem Unternehmen gelungen sei, sich eine zusätzliche Ladung Speicher zu sichern, und eröffnete daher eine zweite begrenzte Menge an Vorbestellungen.
Die zweite Produktcharge wird voraussichtlich ab November ausgeliefert. Allerdings erinnert Framework die Verbraucher auch daran, dass der Preis und die Zeit bis zur Markteinführung der nächsten Produktchargen von den Kosten und dem Angebot der Speicherlieferanten abhängen werden. Das Unternehmen machte sogar deutlich, dass der Preis von Framework Desktop in den kommenden Monaten weiter steigen könnte.
Für lokale KI-Benutzer ist der einheitliche 192-GB-Speicher die größte Attraktion dieser Maschine. Herkömmliche PCs sind in der Regel auf einen unabhängigen Grafikkartenspeicher angewiesen, um große KI-Modelle auszuführen, während die Speicherkapazität von High-End-GPUs normalerweise durch eine einzelne Karte begrenzt ist. Wenn das Modell nicht vollständig im Videospeicher untergebracht werden kann, muss für den Datenaustausch Systemspeicher oder sogar SSD verwendet werden, was zu erheblichen Leistungseinbußen führen kann.
Framework Desktop verwendet eine Architektur, bei der CPU, GPU und KI-Computing einen einheitlichen Speicher teilen, der der GPU direkt eine große Menge Speicher zuweisen kann. Dank der Kapazität von 192 GB können Benutzer sehr große lokale Modelle auf einem kleinen Computer mit etwa 4,5 Litern betreiben. Framework sagte, dass die zusätzlichen 64 GB Speicher nicht nur ein größeres einzelnes Modell laden, sondern auch zwei kleinere Modelle gleichzeitig im Speicher speichern können, sodass ein schnelleres Modell für die Hauptinteraktionen verantwortlich sein kann und ein anderes leistungsfähigeres, aber langsameres Modell komplexe Probleme übernehmen kann.
Framework betont außerdem ausdrücklich, dass diese Konfiguration für Benutzer attraktiv ist, die KI vollständig lokal ausführen möchten. Das Modell kann auf dem lokalen Gerät verbleiben, ohne dass die Daten in die Cloud hochgeladen werden müssen. Bei Szenarien mit Datenschutz, Quellcode oder sensiblen Geschäftsdaten kann der lokale Betrieb die Abhängigkeit von Cloud-KI-Diensten verringern.
192 GB einheitlicher Speicher bedeuten jedoch nicht, dass alle 300 Milliarden Modelle auf Parameterebene mit hoher Geschwindigkeit ausgeführt werden können. Modellgröße, Quantisierungsmethode, Kontextlänge und tatsächlicher Speicherbedarf wirken sich alle auf die endgültige Leistung aus. Ein Speicher mit großer Kapazität löst das Problem „Kann das Modell installiert werden“, und die Geschwindigkeit der Modellinferenz hängt auch von der GPU-Rechenleistung, der Speicherbandbreite und der Softwareoptimierung ab.
Das Gesamtvolumen des Framework Desktop beträgt nur etwa 4,5 Liter, sodass diese Maschine eher einer sehr kleinen lokalen KI-Workstation ähnelt als einem gewöhnlichen Mini-PC im herkömmlichen Sinne. Neben KI-Computing kann es auch Aufgaben wie Gaming, Entwicklung und Linux-Desktop-Arbeit übernehmen und Framework legt weiterhin Wert auf sein modulares Designkonzept.
Derzeit bietet Framework Desktop bereits verschiedene Speicherkonfigurationen wie 32 GB, 64 GB und 128 GB, und die 192-GB-Version hat sich zum Flaggschiffmodell der gesamten Produktlinie für lokale KI-Benutzer entwickelt. Da AMD seine einheitliche Speicherkapazität und seine KI-Computing-Fähigkeiten weiter verbessert, wird diese Architektur „CPU + GPU + gemeinsam genutzter Speicher mit großer Kapazität“ auch zu einem wichtigen Weg für die lokale Ausführung großer Sprachmodelle.
Die erste Charge des 192-GB-Framework-Desktops war trotz des Startpreises von 6.799 US-Dollar schnell ausverkauft, was darauf hindeutet, dass einige KI-Entwickler und lokale Modellenthusiasten eine sehr starke Nachfrage nach Unified-Memory-Geräten mit großer Kapazität haben. Allerdings ist die erste Produktcharge selbst durch den Speichervorrat begrenzt, sodass der Ausverkauf nicht direkt das allgemeine Ausmaß der Nachfrage auf dem gesamten Markt widerspiegelt. Der eigentliche Schlüssel zur Entscheidung, ob dieses Produkt weiter populär gemacht werden kann, bleiben zukünftige Speicherpreise, das Angebot und die Nachfrage nach lokaler Hardware für größere KI-Modelle.
Kommentare