NVIDIA hat kürzlich eine eingehende Analyse seiner neuesten Rubin-GPU-Architektur durchgeführt und dabei die wichtigsten Durchbrüche des Unternehmens bei der Erzielung groß angelegter Datenverarbeitung auf Multi-Rack-, Multi-System- und Rechenzentrumsebene demonstriert. Als wichtiger Meilenstein in der Technologieentwicklung des Unternehmens kann dieser Beschleuniger bei spärlichem NVFP4-Betrieb bis zu 50 PetaFLOPS Rechenleistung bereitstellen.
Bei voller Leistung integriert die Rubin-GPU bis zu 224 Streaming-Multiprozessoren (SM) und 288 GB HBM4-Speicher. Mit 336 Milliarden Transistoren hat Nvidia ihn außerdem mit 896 Tensorkernen mit einer Transformer-Engine der dritten Generation ausgestattet. Um die enorme rohe Rechenleistung freizusetzen, teilt NVIDIA GPU-Ressourcen in Grafikprozessor-Cluster mit zentralisiertem L2-Cache auf, ergänzt durch die GigaThread-Engine, um den Arbeitsablauf zu koordinieren und die Ressourcennutzung zu optimieren. Darüber hinaus ermöglicht die MIG-Kontrollpartitionierungsfunktion die Partitionierung dieser GPU in mehrere virtuelle GPUs, was ähnlich funktioniert, wie moderne CPUs mit virtuellen Kernen umgehen.
Was die Speicherkonfiguration angeht, arbeitete Nvidia mit Speicherpartnern zusammen, um 288 GB HBM4-Speicher über 12-schichtige gestapelte Module bereitzustellen. Der dedizierte HBM-Controller arbeitet mit der physikalischen Schicht zusammen, um eine Spitzenspeicherbandbreite von bis zu 22 TB pro Sekunde zu erreichen, was in der Branche äußerst wettbewerbsfähig ist. Sein Tensor-Speichermanager wurde aktualisiert, um die Datenübertragungseffizienz zu verbessern, während die vertikale Erweiterung und die Kommunikation der gesamten GPU vollständig von NVLink 6 verwaltet werden. Mit NVLink 6 erreicht die architektonische Bandbreite der vollständig vernetzten GPU-Kommunikation 3600 GB pro Sekunde, während die Chip-zu-Chip-Verbindungstechnologie NVLink-C2C eine CPU-GPU-Kommunikationsbandbreite von 1800 GB pro Sekunde erreicht. Für den Datenaustausch mit externen Geräten verfügt Nvidia außerdem über einen integrierten PCIe-Gen-6-Switch mit 256 GB pro Sekunde Bandbreite.
Scale-up-Kommunikation ist eine der Kernstärken von NVIDIA und ermöglicht GPUs eine effiziente und nahtlose Kommunikation mit anderen GPUs in Rack-Scale-Systemen. Die herkömmliche Kommunikation zwischen GPUs erfordert häufig Koordination und Synchronisierung, was zu Verzögerungen führt, wenn das System beim Warten auf die Datenübertragung stehen bleibt. Um dieses Problem anzugehen, führt die Rubin-Architektur einen geräteinitiierten Kommunikationsmechanismus ein, der es jeder GPU ermöglicht, die Datenübertragung unabhängig zu verwalten, wodurch die Notwendigkeit einer externen Optimierung entfällt und die Latenz effektiv reduziert wird.
Solche Hochleistungssysteme gehen oft mit einem enormen Stromverbrauch einher und ein einziges NVL72-Rack integriert 72 GPUs. Für das Vera Rubin NVL72-System hat NVIDIA eine intelligente Leistungsglättungstechnologie entwickelt, die alle Systemkomponenten in einer einzigen festen Leistungshülle integriert. Wenn beispielsweise Workloads mit künstlicher Intelligenz ausgeführt werden, kann der Strombedarf stark schwanken zwischen Leerlaufzuständen, in denen auf die CPU gewartet wird, und einer voll ausgelasteten GPU. Durch die intelligente Energieglättungstechnologie wird der durchschnittliche Stromverbrauch des Vera Rubin NVL72-Systems im Vergleich zum Grace Blackwell NVL72 der vorherigen Generation um etwa 10 % reduziert, und die Spitzenleistung von 50 Millisekunden wird um etwa 20 % reduziert. Die Optimierung des Energiebudgets wird zusätzlich durch die NVIDIA DSX MaxLPS-Technologie unterstützt.