Zusammenfassung:
Die rasante Expansion der globalen Branche der künstlichen Intelligenz führt zu gravierenden Engpässen bei der Versorgung mit Speicherchips, insbesondere zu einem Anstieg der Nachfrage nach Speicher mit hoher Bandbreite (HBM), der die traditionelle DRAM-Produktionskapazität unter Druck setzt, neu zuzuweisen. In diesem Zusammenhang setzt der frühere Intel-CEO Pat Gelsinger auf eine neue Art von Speichertechnologie und hofft, die langfristigen Kapazitäts-, Bandbreiten- und Stromverbrauchsprobleme von KI-Chips durch eine Änderung des Designs herkömmlicher Speicherzellen zu lösen.
Die Technologie heißt Z2RAM und wurde vom US-amerikanischen Start-up Nagare Labs entwickelt. Das Unternehmen wurde von den Forschern Suman Datta und Shimeng Yu vom Georgia Institute of Technology gegründet. Seine Forschungsgrundlage basiert auf der jahrelangen Erforschung neuer Speichertechnologien wie ferroelektrischem Speicher und resistivem Direktzugriffsspeicher.
Playground Global, die Investmentinstitution, an der Kissinger derzeit beteiligt ist, leitete die 5-Millionen-Dollar-Seed-Finanzierungsrunde von Nagare Labs. Er hat großes Interesse an dieser Technologie gezeigt und glaubt, dass Z2RAM die Möglichkeit hat, die Vorteile von SRAM, DRAM und Flash-Speicher zu kombinieren, um einen neuen Speichertyp mit hoher Dichte, hoher Geschwindigkeit und Skalierbarkeit zu schaffen.
Kissinger wies darauf hin, dass in den letzten drei Jahrzehnten die gängigen Speichertechnologien, die weithin kommerzialisiert wurden, keine grundlegenden Veränderungen erfahren haben. SRAM-, DRAM- und NAND-Flash-Speicher bilden nach wie vor die Speichergrundlage moderner Computerausrüstung. Da jedoch die Rechenanforderungen der künstlichen Intelligenz schnell wachsen, werden die Grenzen traditioneller Speicherarchitekturen immer offensichtlicher.
Der wichtigste Durchbruch dieser Technologie ist die Neugestaltung der Art und Weise, wie die Speicherzelle Ladung speichert.
Herkömmliche DRAMs verwenden normalerweise eine 1T1C-Struktur, das heißt, ein Transistor ist mit einem Kondensator gepaart und der Kondensator speichert Ladung zur Darstellung von Daten. Da die Ladung im Kondensator mit der Zeit abfließt, muss der DRAM die Daten regelmäßig aktualisieren. Der Lesevorgang ist destruktiv und erfordert ein erneutes Schreiben nach dem Lesen.
SRAM verwendet ein anderes Design und erfordert normalerweise sechs Transistoren, um eine Speicherzelle zu bilden. Es muss nicht wie DRAM regelmäßig aktualisiert werden und die Lesegeschwindigkeit ist sehr hoch, sodass es häufig als Cache im Prozessor verwendet wird. Der Preis besteht jedoch darin, dass die Speichereinheitsfläche größer und die Herstellungskosten hoch sind, was es schwierig macht, groß angelegte und hochdichte Erweiterungen wie DRAM und NAND zu erreichen.
Z2RAM versucht, eine neue Balance zwischen beiden zu finden. Es verwendet zwei Transistoren, um eine Speichereinheit zu bilden, anstatt einen separaten Kondensator im herkömmlichen DRAM zu verwenden. Stattdessen nutzt es die Gate-Kapazität des zweiten Transistors zur Ladungsspeicherung.
Suman Datta, Mitbegründer von Nagare Labs, erklärte, dass dieses Design zerstörungsfreies Lesen ermöglicht. Mit anderen Worten: Beim Lesen von Daten ist es nicht erforderlich, die Speicherladung zu verbrauchen und dann einen Neuschreibvorgang wie bei herkömmlichem DRAM durchzuführen, sodass eine Reduzierung der Zugriffslatenz und eine Verbesserung der Gesamtspeichereffizienz erwartet werden.
In Bezug auf die Dichte prognostiziert Nagare Labs, dass die Speicherdichte pro Flächeneinheit des Z2RAM der ersten Generation mehr als fünfmal so hoch sein kann wie die des herkömmlichen SRAM. Wenn beispielsweise ein SRAM derselben Fläche eine Kapazität von 64 MB bereitstellen kann, kann die Kapazität mit Z2RAM theoretisch auf etwa 320 MB erhöht werden, während gleichzeitig ein Bandbreitenniveau beibehalten wird, das dem von SRAM nahekommt.
Dies ist besonders wichtig für Prozessoren der künstlichen Intelligenz. Derzeit verlassen sich KI-Beschleuniger zunehmend auf HBM, um eine enorme Speicherbandbreite bereitzustellen. HBM erfordert jedoch eine komplexe Stacking-Packaging-Technologie, hohe Herstellungskosten und Einschränkungen beim Stromverbrauch und der Package-Fläche.
Andererseits verwenden einige Prozessoren, die speziell für KI-Inferenz verwendet werden, eine große Menge an On-Chip-SRAM, um die Verzögerung beim Zugriff des Prozessors auf externen Speicher zu minimieren. Allerdings ist die Dichte von SRAM begrenzt, was dazu führt, dass der Chip innerhalb einer begrenzten Fläche einen Kompromiss zwischen Kapazität und Recheneinheiten eingehen muss.
Zum Beispiel nutzt die NVIDIA Groq 3 LPU eine große Menge SRAM als On-Chip-Speicherressourcen, und die SRAM-Kapazität eines einzelnen Chips beträgt etwa 500 MB. Wenn Z2RAM die erwartete fünffache Dichte erreichen kann, so die technische Vision von Nagare Labs, kann derselbe Bereich ein Vielfaches der Daten eines herkömmlichen SRAM aufnehmen. Dies kann die Anzahl der für große KI-Inferenzsysteme erforderlichen Prozessoren verringern und den Druck auf die Datenübertragung zwischen verschiedenen Chips verringern.
Ein weiteres wichtiges Merkmal von Z2RAM ist die Verwendung von Oxidhalbleitermaterialien, die mithilfe der 3D-Hybrid-Bonding-Technologie direkt auf dem Rechenlogikchip integriert werden sollen.
Das bedeutet, dass man sich nicht ausschließlich auf die traditionelle Architektur verlassen muss, bei der der Speicherchip vom Prozessor getrennt ist. Stattdessen besteht die Möglichkeit, Speicherschichten mit hoher Dichte direkt in der Nähe des Computerchips zu stapeln, um die Datenübertragungsentfernung zu verkürzen. Seine Designidee ähnelt in gewisser Weise AMDs Stapelung von zusätzlichem SRAM-Cache auf dem Prozessor durch die 3D-V-Cache-Technologie, Z2RAM hofft jedoch, eine höhere Speicherdichte bereitzustellen.
In Bezug auf die Fertigungstechnologie plant Nagare Labs außerdem, auf die Idee des vertikalen Stapelns von NAND-Flash-Speichern zurückzugreifen, um mehrere Speicherschichten Schicht für Schicht aufzubauen. Im Gegensatz zu HBM und LPDDR, die auf komplexe Speicherverpackungen mit hoher Dichte angewiesen sind, hofft das Unternehmen, eine relativ einfache Mehrschichtfertigung durch Oxidhalbleiter und Back-End-Prozesse zu erreichen. Wenn diese Lösung erfolgreich ist, besteht die Möglichkeit, die Herstellungskosten von On-Chip-Speichern mit großer Kapazität zu senken.
Z2RAM befindet sich jedoch noch in einem sehr frühen Entwicklungsstadium. Nagare Labs hat gerade eine Seed-Finanzierungsrunde in Höhe von 5 Millionen US-Dollar abgeschlossen. Die Ergebnisse in diesem Stadium sind hauptsächlich Laborprototypen und haben noch nicht das ausgereifte Stadium der Chipherstellung erreicht.
Das Unternehmen ist auf der Suche nach Fab-Partnern, die F&E- und Fertigungskapazitäten bereitstellen können, in der Hoffnung, die Technologie von der Reinraumumgebung eines Universitätslabors zur Produktionsverifizierung in größerem Maßstab voranzutreiben. Nach dem aktuellen Plan hofft Nagare Labs, innerhalb der nächsten vier Jahre funktionierende Muster von Z2RAM-Speicherchips bereitzustellen und sich um kommerzielle Auslieferungen innerhalb der nächsten zehn Jahre zu bemühen.
Gleichzeitig steht diese Technologie auch vor vielen technischen Herausforderungen.
Das erste ist das Integrationsproblem mit Computerchips. Z2RAM muss über 3D-Hybrid-Bonding mit dem Prozessor oder KI-Beschleuniger verbunden werden, die Branche hat jedoch noch keinen einheitlichen Schnittstellenstandard entwickelt, der für diesen neuen Speichertyp geeignet ist. Forscher von Georgia Tech sagten, dass Nagare Labs ohne ausgereifte Industriestandards möglicherweise eine eigene Schnittstellentechnologie entwickeln müsste, was die Komplexität des Produktdesigns und der Kommerzialisierung erhöhen würde.
Die zweite ist die materielle Zuverlässigkeit. Oxidhalbleiter haben gewisse Vorteile hinsichtlich der thermischen Stabilität und Strahlungsbeständigkeit, es können jedoch Defekte wie Atomfehlstellen innerhalb des Materials auftreten. Diese mikroskopischen Defekte können die Schwellenspannung des Transistors beeinflussen und selbst kleine Spannungsänderungen können Datenfehler in der Speicherzelle verursachen.
Bei Speicherprodukten ist Zuverlässigkeit oft wichtiger als Spitzenleistung im Labor. Jede neue Speichertechnologie muss einer langfristigen Datenspeicherung, Lese- und Schreiblebensdauer, Temperaturänderungen und einer Überprüfung der Herstellungskonsistenz unterzogen werden, bevor sie wirklich auf den kommerziellen Markt gelangen kann.
Der Mitbegründer von Nagare Labs gab auch zu, dass es in der Geschichte eine große Anzahl von Speicher-Startups gegeben habe, die versucht hätten, die traditionelle DRAM- und Flash-Speichertechnologie herauszufordern, aber letztendlich gescheitert seien. Auch wenn eine Technologie im Labor gut funktioniert, heißt das nicht, dass sie die strengen Qualitätsstandards der Halbleiterindustrie erfüllt und in die Lieferkette bestehender Computersysteme gelangt.
Der Grund, warum Kissinger hinsichtlich Z2RAM optimistisch ist, hängt eng mit dem Speicherengpass zusammen, mit dem die aktuelle KI-Branche konfrontiert ist. Das Training und die Inferenz großer Sprachmodelle erfordern nicht nur eine leistungsstarke Rechenleistung, sondern erfordern auch die kontinuierliche Zuführung großer Datenmengen zum Prozessor. Wenn die Verarbeitungsgeschwindigkeit der Recheneinheit die Datenbereitstellungskapazität des Speichers bei weitem übersteigt, muss der Prozessor auf Daten warten, was zu teuren Rechenressourcen führt, die nicht vollständig genutzt werden können.
Derzeit ist HBM die Hauptlösung zur Lösung des Speicherbandbreitenproblems von KI-Beschleunigern, aber es ist nicht ohne Mängel. Gelsinger glaubt, dass Z2RAM, wenn es die erwartete Leistung erreichen kann, die Möglichkeit hat, Lösungen anzubieten, die sich in Bezug auf Speicherdichte, Geschwindigkeit und Stromverbrauch von bestehenden HBM unterscheiden.
Es ist erwähnenswert, dass Z2RAM keine Technologie ist, die den weltweiten Lieferengpass bei DRAM und HBM kurzfristig lösen kann. Auch wenn in den nächsten vier Jahren technische Muster verfügbar sein werden, ist eine groß angelegte Kommerzialisierung noch in weiter Ferne. Das derzeit knappe Angebot an weltweitem Speicher ist hauptsächlich auf den Anstieg der Nachfrage von KI-Rechenzentren sowie auf die Verlagerung größerer Produktionskapazitäten von Samsung, SK Hynix und Micron auf HBM- und Serverspeicherprodukte zurückzuführen.
Ars Technica
+2
Wenn Z2RAM irgendwann in Massenproduktion hergestellt werden kann, liegt seine wichtigere Bedeutung möglicherweise in der Änderung der Speicherarchitektur künftiger Prozessoren und nicht nur in der Erhöhung des Angebots an herkömmlichen Speicherchips. Es wird erwartet, dass es KI-Prozessoren ermöglicht, größeren Hochgeschwindigkeitsspeicherplatz im Chip zu erhalten, die Abhängigkeit von externer Speicherbandbreite zu verringern und neue Designoptionen für die nächste Generation von KI-Beschleunigern bereitzustellen.
Von SRAM über DRAM bis hin zu NAND-Flash-Speichern hat die Halbleiterindustrie ein relativ ausgereiftes Speichertechnologiesystem entwickelt. Z2RAM versucht, den seit langem bestehenden Kompromiss zwischen Leistung und Dichte zwischen diesen Technologien zu durchbrechen. Allerdings handelt es sich noch um ein technisches Konzept im Laborstadium. Ob es letztendlich von einem wissenschaftlichen Forschungsergebnis in ein wettbewerbsfähiges kommerzielles Produkt umgewandelt werden kann, erfordert Zeit und Tests des Herstellungsprozesses.
Kommentare