Angesichts der hohen Speicherpreise und der anhaltend angespannten Lieferkettensituation plant NVIDIA, die Speicherkonfiguration seines künstlichen Intelligenzsystems (KI) auf Gehäuseebene Vera Rubin NV72 (insbesondere des VR200 NVL72) der nächsten Generation deutlich zu reduzieren.
Laut dem neuesten Analysebericht von GF Securities soll mit diesem Schritt dem Kostendruck begegnet werden, der durch den starken Preisanstieg bei Schlüsselkomponenten wie High-Bandwidth-Speicher (HBM4) und LPDDR5X verursacht wird. Obwohl NVIDIA zuvor langfristige Lieferverträge unterzeichnet hatte, bevor es in der Branche zu weit verbreiteten Speicherengpässen kam, die den Auswirkungen von Angebots- und Nachfrageungleichgewichten besser standhielten, zwangen zunehmend höhere Komponentenkosten das Unternehmen immer noch zu Spezifikationsanpassungen.
Nvidias Vera Rubin NVL72-Gehäuse gilt als eines der leistungsstärksten KI-Systeme der Welt. Das System wurde erstmals im Januar dieses Jahres der Öffentlichkeit vorgestellt und zeigte anschließend in Testdaten, die vom Cloud-Dienstleister CoreWeave veröffentlicht wurden, eine erstaunliche Rechenleistung. Unter gemischten Expertenmodell-Workloads (MoE) könnte das System der vorherigen Generation mit Blackwell AI GPU einen Durchsatz von 80.000 Token pro Sekunde bei einem Stromverbrauch von 150 Megawatt erreichen, während die neue VR200 NVL72 Vera Rubin-Plattform diese Zahl direkt um das Zehnfache erhöht und 800.000 Token pro Sekunde erreicht.
Allerdings ist eine extrem starke Leistung auch mit hohen Hardwarekosten verbunden. Das Investitionsforschungsinstitut Bernstein veröffentlichte zuvor einen Bericht, in dem es heißt, dass die tatsächlichen Kosten für ein einzelnes NVL72-Rubin-Gehäuse aufgrund des Anstiegs der Speicherpreise bis zu 9,1 Millionen US-Dollar betragen könnten und damit weit über der vorherigen Branchenschätzung von 7,8 Millionen US-Dollar liegen, die auf frühen Speicherangeboten basierte. Bernstein prognostiziert außerdem, dass der Preis für HBM4-Speicher der nächsten Generation bis 2027 auf 53 US-Dollar pro GB steigen könnte.
Angesichts von Lieferengpässen und hohen Kosten im Speichermarkt wies ein Analysebericht von GF Securities darauf hin, dass NVIDIA aktiv auf die Herausforderungen reagiert, indem es die Spezifikationen reduziert. Beim VR200 NVL72-Gehäuse plant NVIDIA, die standardmäßige SOCAMM-Spezifikation (Small Pressure Attachment Memory Module) vom ursprünglichen 192-GB-Modul auf ein 96-GB-Modul zu halbieren, um den Druck auf die LPDDR5X-Lieferkette zu verringern. Darüber hinaus wird die Gesamtspeicherkapazität der Vera-CPU deutlich von ursprünglich geplanten 54 TB auf 55 TB auf etwa 28 TB reduziert, und jede CPU wird außerdem ein 96 GB SOCAMM-Modul verwenden. In Bezug auf die GPU wird jedes Gehäuse weiterhin 20,7 TB HBM4-Speicher mit hoher Bandbreite nutzen.
Aus finanzieller Sicht führt Downsizing zu einer deutlichen Reduzierung der Stücklisten (BOM) von Systemkomponenten. GF Securities erklärte, dass bei einer Halbierung der LPDDR5X-Speicherkapazität die Kosten für VR200-bezogenes LPDDR5X von der ursprünglichen Schätzung von 1,2 Millionen US-Dollar auf 586.000 US-Dollar gesenkt werden könnten; Wird die Kapazität weiter auf ein Viertel der ursprünglichen Kapazität reduziert, können die Kosten sogar auf 293.000 US-Dollar gesenkt werden. Wenn die oben genannten Spezifikationsanpassungen nicht vorgenommen werden, steigen die Speicherkosten laut Analyse auf 29 % (ungefähr 2,1 Millionen US-Dollar) der gesamten Stücklistenkosten des VR200-Systems und übertreffen damit weit das ideale Niveau von Nvidia, die Speicherkosten innerhalb von 20 % zu kontrollieren. Durch diese flexible und optimierte Konfiguration wird erwartet, dass NVIDIA den Vorteil der Rechenleistung mit hohem Durchsatz beibehält und gleichzeitig die Gesamtkosten des Gehäuses in einem angemessenen Rahmen hält.