Zusammenfassung:
Laut Supply-Chain-Analyst Ming-Chi Kuo wurde NVIDIAs zuvor auf Eis gelegtes KI-Beschleunigerprojekt „Rubin CPX“ nun neu gestartet und die Speicherarchitektur neu gestaltet. Dieses Produkt sollte ursprünglich mit 128 GB GDDR7-Videospeicher ausgestattet sein, jetzt ist es jedoch mit 168 GB HBM4-Speicher mit hoher Bandbreite ausgestattet.
Nvidia gab Ende letzten Jahres bekannt, dass es die Entwicklung eines dedizierten Beschleunigers auf Basis der Rubin-GPU-Familie plant, der hauptsächlich für groß angelegte Arbeitslasten im Bereich der künstlichen Intelligenz von Agenten gedacht ist. Nach der Ankündigung des Projekts wurde berichtet, dass es vorübergehend auf Eis gelegt wurde, Nvidia scheint die Neuplanung jedoch abgeschlossen zu haben. Rubin CPX wird in unabhängigen Racks eingesetzt. Jedes Rack kann mit 64 bis 256 unabhängigen CPX-GPUs konfiguriert werden.
Im Gegensatz zu herkömmlichen Rubin-GPUs, die für Dekodierungsaufgaben verantwortlich sind, werden CPX-GPUs hauptsächlich für die „Vorabfüllung“-Phase im Inferenzprozess großer Sprachmodelle verwendet und sind für die Verarbeitung des Eingabekontexts und des KV-Cache verantwortlich. NVIDIA versucht, die Vorabfüllungs- und Dekodierungsaufgaben zu trennen, wobei die CPX-GPU die Vorabfüllungsarbeit übernimmt und sich dann die reguläre Rubin-GPU um die Dekodierung kümmert, wodurch die allgemeine Inferenzeffizienz verbessert wird.
Ein mit 8 CPX-GPUs ausgestattetes Rack-Tray kann bis zu 1,34 TB Long-Context-Prepopulation-Daten und zugehörigen KV-Cache verarbeiten, alles abhängig von HBM4-Speicher. HBM4 kann eine höhere Speicherbandbreite bereitstellen und so die Verarbeitung langer Kontextdaten beschleunigen. Da das vorherige Design kein integriertes HBM4 erforderte, muss Nvidia auch die Chipverpackung neu gestalten und wird voraussichtlich die fortschrittliche Verpackungstechnologie CoWoS-S oder CoWoS-L von TSMC verwenden.
In Bezug auf die Rechenleistung verwendet Rubin CPX ein monolithisches Chipdesign und kann 30 Gigaflops NVFP4-Rechenleistung oder 30 PFLOPS bereitstellen. Der Chip integriert außerdem vier NVENC-Videokodierungs-Engines und vier NVDEC-Videodekodierungs-Engines, sodass er multimediabezogene Arbeitslasten effizienter erledigen kann, ohne auf externe Prozessoren angewiesen zu sein.
Da sich die Parameterskala großer Sprachmodelle der Billionengrenze nähert, wird erwartet, dass die Übergabe von Vorbefüllungs- und Dekodierungsaufgaben an verschiedene Racks die Geschwindigkeit der Token-Generierung und -Übermittlung deutlich erhöhen wird. Nvidia empfiehlt außerdem, im Dekodierungsrack ein Verhältnis von CPX-GPUs zu regulären Rubin-GPUs von 1:1 beizubehalten.
Kommentare