Zusammenfassung:
Betroffen von der anhaltend knappen Versorgung mit DRAM, verlagert sich die KI-Branche von „Rechenleistung begrenzt“ auf „Speicher begrenzt“. Berichten zufolge hat Google damit begonnen, stillgelegte Server abzubauen, die noch verwendbaren DDR4-Speichermodule zu recyceln und sie in einigen neu gebauten KI-Servern wiederzuverwenden und so nach und nach eine interne Lieferkette für das Speicherrecycling aufzubauen.
Nikhil Cherian, Googles Senior Director für Supply-Chain-Infrastruktur, gab kürzlich auf einem Gipfelforum bekannt, dass Hochleistungsspeicher derzeit etwa 75 % der Stücklistenkosten eines KI-Servers ausmacht. Um den Speicherengpass zu überwinden, fördert Google Lösungen sowohl auf Software- als auch auf Hardwareebene, einschließlich der Demontage stillgelegter Server und der Wiederverwertung verwendbarer Komponenten.
Google hat sogar speziell entwickelte Hardware-Adapter entwickelt, um die Verbindung früherer Generationen von Speicherlösungen wie DDR4 mit KI-Servern der neuen Generation zu ermöglichen. Cherian gab auch zu, dass Google gezielt einige ausgemusterte Server zurückführen wird, nur um die DDR4-Speichermodule zu entfernen.
Gleichzeitig optimiert Google weiterhin die zugrunde liegende Funktionsbibliothek, Modellarchitektur und KV-Cache-Komprimierungstechnologie, um die pro Rechenleistungseinheit erforderliche Speicherkapazität zu reduzieren.
Google hat dieses Jahr zwei TPU-ASIC-Versionen auf den Markt gebracht, von denen TPU8t hauptsächlich für das Training von KI-Modellen verwendet wird, während TPU8i für Inferenzaufgaben optimiert ist. Um Leistungsengpässe zu vermeiden, verwendet TPU8i ein hochgradig angepasstes mehrschichtiges Speicherdesign.
Jeder TPU 8i-Chip ist mit 288 GB HBM3e-Speicher ausgestattet, der eine extrem hohe Speicherbandbreite von 8,6 TB pro Sekunde bieten kann. Der Chip integriert außerdem 384 MB On-Chip-SRAM zum Speichern eines aktiven Schlüsselwert-Cache, um häufigen Zugriff auf den externen Systemspeicher zu vermeiden.
Im Server-Host-Teil verzichtet der TPU 8i-Server vollständig auf den herkömmlichen x86-Hauptprozessor und verwendet Googles eigenen angepassten Axion-Prozessor auf Basis der Arm-Architektur. Der Axion-Prozessor setzt auf die Hochgeschwindigkeits-DDR5-Speicherarchitektur und ist hauptsächlich für Aufgaben auf Host-Ebene wie die Datenvorverarbeitung verantwortlich.
Allerdings scheint Google laut Cherians jüngster Aussage in einigen neuen AI-Servern älteren DDR4-Speicher verwendet zu haben, um die ursprünglich vorgesehenen DDR5-Module zu ersetzen. Die konkrete Serverpalette und die Anzahl der beteiligten DDR4-Module wurden noch nicht bekannt gegeben.
Kommentare