Zusammenfassung:
NVIDIA hat einige Hardwarespezifikationen der Vera Rubin-Computerplattform für künstliche Intelligenz der nächsten Generation angepasst, darunter die Speicherbandbreite mit hoher Bandbreite HBM4 und die Hochgeschwindigkeits-Verbindungsbandbreite NVLink. Im Vergleich zu zuvor angekündigten oder verbreiteten Indikatoren sind die neuen Spezifikationen zurückgegangen, aber die Bandbreite des horizontalen Erweiterungsnetzwerks ist gestiegen. Diese Änderung könnte bedeuten, dass Nvidia die Chipleistung, die Liefermöglichkeiten und die Systemkosten auf der Grundlage der tatsächlichen Massenproduktion neu ausbalanciert.
Gemäß den derzeit von NVIDIA angekündigten Vera Rubin-Plattformspezifikationen ist die Rubin-GPU mit 288 GB HBM4-Speicher und einer Speicherbandbreite von 19,2 TB/s ausgestattet. Zuvor hatten die technischen Daten von NVIDIA eine maximale Speicherbandbreite von 22 TB/s angegeben. Im Vergleich zu beiden liegt der aktuell gemeldete Wert etwa 12,7 % niedriger. Es ist wichtig zu beachten, dass Nvidia zuvor eine „maximal erreichbare“ Metrik verwendet hat, sodass dies Änderungen in den Spezifikationszahlen widerspiegelt und nicht unbedingt bedeutet, dass bei allen Produkten ein gleicher Rückgang der tatsächlichen Leistung zu verzeichnen war.
HBM4 ist eine neue Generation von Speichertechnologie mit hoher Bandbreite, die eine breitere Speicherschnittstelle verwendet, um höhere Datendurchsatzfunktionen für das Training und die Inferenz von Modellen künstlicher Intelligenz bereitzustellen. Da die Größe des Modells weiter zunimmt, benötigt die GPU nicht nur eine höhere Rechenleistung, sondern muss auch kontinuierlich eine große Menge an Modellparametern und Zwischendaten abrufen. Reicht die Speicherbandbreite nicht aus, kann es auch bei einer hohen theoretischen Rechenleistung der Recheneinheit aufgrund des Wartens auf Daten dazu kommen, dass diese ihre Leistung nicht voll ausschöpfen kann.
Die bisher von der Rubin-Plattform angestrebte hohe Speicherbandbreite hat auch höhere technische Anforderungen an die HBM4-Lieferkette mit sich gebracht. Hersteller von Videospeichern müssen die Anforderungen an Stromverbrauch, Wärmeableitung, Signalintegrität und langfristige Zuverlässigkeit bei höheren Datenübertragungsraten erfüllen. Je höher die Bandbreitenspezifikation, desto größer sind die Herausforderungen, denen sich typischerweise die Designverifizierung und die Massenproduktionsprozesse stellen müssen.
Wenn NVIDIA seine Anforderungen an die Speicherbandbreite senkt, kann sich das Angebot an HBM4-Chips, die den Produktstandards entsprechen, erweitern, und Lieferanten haben auch die Möglichkeit, den Produktionsanteil qualifizierter Produkte zu erhöhen. Dies bedeutet nicht, dass die Hersteller von Videospeichern die gesamte Produktpalette neu gestalten müssen, aber es kann dazu führen, dass einige Produkte, die die bisherigen Höchstleistungsziele nicht erreichen, aber dennoch neue Anforderungen erfüllen, in das Liefersystem aufgenommen werden können, wodurch die Lieferfähigkeit insgesamt verbessert wird.
Neben der Speicherbandbreite hat Nvidia auch die NVLink-Verbindungsspezifikation des Vera Rubin Superchips angepasst. Aktuellen Produktinformationen zufolge wurde die NVLink-Bandbreite des Vera Rubin Superchips von bisher 7,2 TB/s auf 6 TB/s angepasst, was einem Rückgang von etwa 16,7 % entspricht. NVLink ist die Verbindungstechnologie von NVIDIA für die Hochgeschwindigkeitskommunikation zwischen GPUs. Es spielt eine wichtige Rolle beim Datenaustausch, beim modellparallelen Training und bei komplexen Inferenzaufgaben für künstliche Intelligenz in Multi-GPU-Systemen.
In großen Clustern künstlicher Intelligenz müssen Gradienten, Aktivierungswerte und andere Zwischendaten häufig zwischen GPUs ausgetauscht werden. Die Kommunikation zwischen verschiedenen Recheneinheiten ist besonders wichtig für große Modelle mit Experten-Hybridarchitekturen. Daher kann sich die Reduzierung des NVLink-Bandbreitenindikators auf die Leistung einiger kommunikationsintensiver Aufgaben auswirken, die endgültige Auswirkung hängt jedoch immer noch von der Modellarchitektur, der Softwareplanungsmethode und der tatsächlichen Auslastung ab. Der gesamte Rechenleistungsverlust kann nicht einfach anhand des Bandbreitenreduzierungsverhältnisses berechnet werden.
Gleichzeitig hat Nvidia die Bandbreitenmetriken für einige Scale-out-Netzwerke erhöht. Vorhandene Daten zeigen, dass die horizontale Erweiterungsnetzwerkbandbreite des Vera Rubin Superchips von zuvor 0,8 TB/s auf 0,9 TB/s gestiegen ist. Diese Art von Netzwerk wird hauptsächlich zur Verbindung verschiedener Rechenknoten verwendet, sodass Rechenzentren eine große Anzahl von GPUs in einem einheitlichen Rechencluster organisieren können. Eine Erhöhung der Netzwerkbandbreite kann dazu beitragen, die Datenübertragungsmöglichkeiten zwischen Knoten zu verbessern, insbesondere wenn Rechenaufgaben serverübergreifend gemeinsam erledigt werden müssen.
Diese Anpassung von eins nach unten und eins nach oben spiegelt die Kompromissbeziehung beim Design von Computerplattformen für künstliche Intelligenz wider: Kommunikationsfähigkeiten innerhalb der GPU und innerhalb des Gehäuses sind wichtig, aber mit zunehmender Clustergröße kann auch die knotenübergreifende Kommunikation zu einem Faktor werden, der die Gesamtleistung einschränkt. Möglicherweise ordnet Nvidia das Leistungsbudget in Systemdesigns basierend auf den tatsächlichen Anwendungsanforderungen neu zu.
Die Spezifikationsänderung selbst beweist jedoch nicht, dass Nvidia bestätigt hat, dass ein Mangel an Videospeicher besteht, und sie allein kann auch nicht beweisen, dass die Senkung des Indikators zu einer Steigerung der Produktion führt. Relevante Erklärungen müssen noch anhand des Massenproduktionsfortschritts des Lieferanten, des Produktzertifizierungsstatus und nachfolgender von Nvidia offengelegter Informationen beurteilt werden.
Für die HBM4-Lieferkette können Spezifikationsanpassungen den Schwerpunkt des Wettbewerbs zwischen Lieferanten verändern. Bisher mussten Hersteller höhere Datenübertragungsgeschwindigkeiten anstreben; Wenn Nvidia die Bandbreitenanforderungen für Massenproduktionsprodukte reduziert, könnte sich der Wettbewerb stärker auf Ertrag, Angebotsumfang, Stromverbrauch, Stabilität und Kosten konzentrieren. Lieferanten, die qualifizierte Produkte in großem Maßstab liefern können, könnten dadurch mehr Chancen gewinnen.
Aus Sicht der gesamten Plattform verlässt sich Vera Rubin nicht allein auf die Speicherbandbreite, um die Leistung zu bestimmen. GPU-Rechenleistung, Videospeicherkapazität, Chip-zu-Chip-Verbindung, Netzwerkarchitektur und Softwareoptimierung bestimmen gemeinsam die Systemleistung. Nvidias offiziell angekündigte Vera Rubin NVL72-Gehäusekonfiguration enthält 72 Rubin-GPUs und verbindet mehrere GPUs über NVLink der sechsten Generation, um groß angelegte Trainings- und Inferenzaufgaben für künstliche Intelligenz zu unterstützen.
Auch wenn einige Hardwareindikatoren unter den frühen Zielen liegen, kann Vera Rubin durch Computerarchitektur, Videospeicherkapazität und Optimierung auf Systemebene dennoch eine höhere Leistung erzielen. Was wirklich Aufmerksamkeit verdient, ist, ob Nvidia die Auslieferungen nach Anpassung der Spezifikationen wie geplant ausweiten kann und ob die tatsächliche Modelltrainings- und Inferenzleistung den Kundenerwartungen entspricht.
Kommentare