Zusammenfassung:
Groq, ein von NVIDIA übernommenes Unternehmen für KI-Inferenzchips, plant die Einführung der 3D-Stacked-DRAM-Technologie in seinen LPU-Produkten (Language Processing Unit) der nächsten Generation, um die derzeit weit verbreitete SRAM-Lösung zu ersetzen. Diese Anpassung bedeutet, dass sich das Unternehmen künftig stärker auf die Erhöhung der Chipspeicherkapazität konzentrieren wird, um sich an die wachsende Nachfrage nach groß angelegten Modellen der künstlichen Intelligenz anzupassen.
Anfang dieses Jahres kündigte NVIDIA das Groq LPX-Rack-Produkt an und nahm es in das Vera Rubin-Ökosystem auf, um die KI-Inferenzleistung zu verbessern. Im August dieses Jahres ging das Rack in die Serienproduktion. Ersten Testergebnissen zufolge kann das System in Verbindung mit dem NVL72-Server eine Inferenzgeschwindigkeit von 3.400 Token pro Sekunde erreichen und damit einen neuen Leistungsrekord aufstellen.
Die aktuelle Generation der Groq LPU ist mit 500 MB SRAM ausgestattet und verfügt über eine Speicherbandbreite von bis zu 150 TB/s. Im LPX-Rack ist das System mit 256 dieser Chips konfiguriert und bietet insgesamt 128 GB SRAM-Kapazität und 640 TB/s erweiterte Bandbreitenfunktionen. Eine einzelne Groq-LPU kann etwa 1,20 PFLOPs FP8-Rechenleistung bereitstellen.
Aber für die nächste Produktgeneration bereitet sich Groq darauf vor, einen völlig anderen Weg einzuschlagen. Das Unternehmen plant, seine ausschließliche Abhängigkeit von SRAM aufzugeben und stattdessen DRAM einzuführen und es mit der 3D-Stacked-Packaging-Technologie (3D-Stacked) zu kombinieren, um eine neue Architektur zu schaffen. Im Vergleich zu SRAM besteht der größte Vorteil von DRAM darin, dass es eine viel höhere Speicherkapazität als SRAM bereitstellen kann, allerdings auf Kosten einer relativ geringen Bandbreite und Zugriffsgeschwindigkeit.
Eine Quelle aus der Halbleiterindustrie sagte, dass Groq plant, die 3D-Packaging-Technologie in der nächsten Generation von Chips einzuführen, und dass das Stapelobjekt vom bestehenden SRAM zum DRAM wechseln wird. Der Schritt wird in der Branche weithin als Wunsch von Groq interpretiert, die Chip-Speicherkapazität deutlich zu erhöhen. Obwohl SRAM extrem schnell ist, ist seine Kapazitätserweiterung begrenzt; Im Vergleich dazu ist DRAM zwar langsamer, eignet sich aber besser für den Aufbau großer Speichersysteme.
Mithilfe der 3D-Stacking-Technologie kann Groq mehrere DRAM-Schichten in einem einzigen Chip mit vertikaler Struktur stapeln und die TSV-Technologie (Through Silicon Via) nutzen, um Verbindungen zwischen den Schichten herzustellen. Dieses Designkonzept ist der Implementierung aktueller Speicher-HBM mit hoher Bandbreite sehr ähnlich. Im Vergleich zu herkömmlichen DRAM-Verpackungen kann die 3D-Stacking-Lösung nicht nur die Speicherdichte pro Flächeneinheit deutlich erhöhen, sondern auch die Energieeffizienz verbessern und den Platzbedarf reduzieren.
Nach den bisher offengelegten Informationen zu urteilen, hat sich der Schwerpunkt des Produkt-Upgrades von Groq offensichtlich auf die Speicherkapazität verlagert, während man weiterhin hofft, einige der Vorteile der SRAM-Architektur in Bezug auf die hohe Bandbreite so weit wie möglich beizubehalten. Da der Umfang generativer KI-Modelle weiter zunimmt, wächst der Bedarf an Hochgeschwindigkeitsspeichern mit großer Kapazität weiter, sodass die neue Generation von Groq-Chips voraussichtlich häufiger eingesetzt wird.
In dem Bericht wurde auch erwähnt, dass Groq SRAM in Zukunft möglicherweise nicht vollständig aufgeben wird, sondern parallel DRAM- und SRAM-Produktlinien entwickeln wird, um differenzierte Lösungen für unterschiedliche Anwendungsszenarien bereitzustellen. Für NVIDIA, das KI-Fabriken und KI-Plattformen baut, wird erwartet, dass diese Art von Inferenzchips mit höherer Kapazität in Zukunft ebenfalls eine wichtigere Rolle spielen wird.
Kommentare