Als erstes Unternehmen, das HBM3E-Speicher auslieferte, gab Micron bekannt, dass sein fortschrittlicher Speicher mit hoher Bandbreite (2024) ausverkauft ist und der Großteil der Produktion für 2025 bereits vergeben ist. Der HBM3E-Speicher von Micron (oder wie Micron auch genannt wird, HBM3Gen2) ist einer der ersten Speicher, der für die neuesten H200/GH200-Beschleuniger von Nvidia zertifiziert wurde. Es sieht also so aus, als würde der DRAM-Hersteller zu einem wichtigen Lieferanten des im Rampenlicht stehenden Unternehmens werden.
„Unser HBM 2024 ist ausverkauft und der Großteil unseres Angebots für 2025 wurde zugeteilt“, sagte Sanjay Mehrotra, CEO von Micron, in vorbereiteten Bemerkungen für die Telefonkonferenz zu den Ergebnissen dieser Woche. „Wir gehen immer noch davon aus, dass der HBM-Bit-Anteil irgendwann im Jahr 2025 mit unserem gesamten DRAM-Bit-Anteil vergleichbar sein wird.“
Microns erstes HBM3E-Produkt ist ein 8-Hi24GB-Stack mit einer 1024-Bit-Schnittstelle, einer Datenübertragungsrate von 9,2 GT/s und einer Gesamtbandbreite von 1,2 TB/s. Nvidias H200-Beschleuniger für künstliche Intelligenz und Hochleistungsrechnen wird sechs dieser Würfel verwenden und insgesamt 141 GB zugänglichen Speicher mit hoher Bandbreite bereitstellen.
„Wir sind auf dem besten Weg, im Geschäftsjahr 2024 mit HBM Einnahmen in Höhe von Hunderten Millionen Dollar zu erzielen, und es wird erwartet, dass sich die HBM-Umsätze ab dem dritten Quartal des Geschäftsjahres positiv auf unser DRAM und die Gesamtbruttomarge auswirken werden“, sagte Mehrotra.
Das Unternehmen hat außerdem mit der Bemusterung seines 12-Hi-36-GB-Stacks begonnen, der 50 % mehr Kapazität bietet. Diese KGSDs werden im Jahr 2025 in Massenproduktion hergestellt und in Produkten der nächsten Generation der künstlichen Intelligenz eingesetzt. Unterdessen sieht es nicht so aus, als würden Nvidias B100 und B200 den 36-GB-HBM3E-Stack verwenden, zumindest zunächst nicht.
Die Nachfrage nach KI-Servern erreichte im vergangenen Jahr Rekorde und dürfte auch in diesem Jahr hoch bleiben. Einige Analysten gehen davon aus, dass Nvidias A100- und H100-Prozessoren (und ihre verschiedenen Derivate) im Jahr 2023 bis zu 80 % des gesamten Marktes für Prozessoren für künstliche Intelligenz ausmachen werden. Während Nvidia in diesem Jahr einer stärkeren Konkurrenz durch AMD, AWS, D-Matrix, Intel, Tenstorrent und anderen ausgesetzt sein wird, dürfte Nvidias H200 der Prozessor der Wahl für KI-Schulungen bleiben, insbesondere für große Unternehmen wie Meta und Microsoft, die bereits aktiv sind Flotten von Hunderttausenden Nvidia-Beschleunigern. Vor diesem Hintergrund ist es für Micron eine große Sache, der Hauptlieferant von HBM3E für Nvidias H200 zu werden, da Micron dadurch endlich einen beträchtlichen Anteil am HBM-Markt erobern kann.
Da jedes DRAM-Gerät im HBM-Stack über eine breitere Schnittstelle verfügt, ist es gleichzeitig physikalisch größer als ein gewöhnlicher DDR4- oder DDR5-IC. Daher wird die Massenproduktion von HBM3E-Speicher die Bitversorgung des Standard-DRAM von Micron beeinträchtigen.
„Das Wachstum der HBM-Produktion wird das Angebotswachstum von Nicht-HBM-Produkten begrenzen“, sagte Mehrotra. „Wenn man die Branche als Ganzes betrachtet, verbraucht HBM3E etwa dreimal so viel Wafer-Vorrat wie DDR5, um eine bestimmte Anzahl von Bits auf demselben Technologieknoten zu produzieren.“