Zusammenfassung:
Können Sie glauben, dass die erste Chipproduktion von OpenAI tatsächlich die gesamte NVIDIA-Serie besiegt hat? ! Gerade hat der erste selbst entwickelte Chip von OpenAI, Jalapeño, die ersten Messergebnisse vorgelegt – eine KI-Inferenzleistung, die NVIDIA GB200 und GB300 vollständig übertrifft.
Direkt mit der gemessenen Geschwindigkeit abheben!
Jalapeño kann 1.459 Token in einer Sekunde ausspucken, während Nvidia GB200 nur 535 Token ausspucken kann, was weniger als der Hälfte entspricht.
Für „Pepper“ benötigt es nur 1,65 Sekunden, um eine Aufgabe zu erledigen, für GB300 sind es jedoch fast 6 Sekunden, was einem Unterschied von ganzem 3,6 entspricht.
Das Grausamste daran ist, dass der Durchsatz von Jalapeño immer noch 104,3-mal höher ist, selbst wenn GB300 auf seine höchste Decodierungsgeschwindigkeit gezwungen wird.
Der nominelle Stromverbrauch von Jalapeño beträgt nur 700 W, während der von GB300 1400 W beträgt, also genau die Hälfte.
Der berühmte Halbleiteranalyst Dylan Patel sagte sogar barsch: „Nicht nur Blackwell wurde gestürzt, sogar Nvidias Rubin-Chip wurde übertroffen“!
Eine Zeit lang explodierte der gesamte KI-Kreis. Netizens wunderten sich, dass OpenAI so verrückt war, dass auch Nvidia besiegt wurde.
Ultramans Aussage war dominant, aber zurückhaltend: „Wir haben einen Chip gemacht, er ist unglaublich schnell“!
01
Eine „Chili-Pfeffer“ stürzte Nvidias Flaggschiff um
Hier spricht OpenAI nicht über sich selbst.
SemiAnalysis ging für tatsächliche Messungen ins Labor und die Schlussfolgerung lautete:—
Jalapeño besiegte jeden Nvidia-, AMD- und Google-Chip, den sie zuvor getestet hatten.
Wie groß ist der Unterschied? Nvidias neuester Vera Rubin verbraucht genug Strom, um fast drei Jalapeños zu ernähren.
Während des Tests wählte OpenAI drei öffentliche Modelle zur Ausführung aus: GPT-OSS 120B und ein 670B- und 1T-Modell.
Diese Testrunde deckt MoE-Architekturen mit mittleren bis Billionen Parametern ab. Die Gesamtergebnisse sind wie folgt:
Die KI-Arbeitslast pro Watt stieg um das 1,5- bis 1,9-fache.
End-to-End-Latenz um das 1,7- bis 3,6-fache reduziert
2,1–4,1-fache Leistungsverbesserung bei stark interaktiven Arbeitslasten
Die zuvor erwähnten 1459 Token/s wurden auf GPT-OSS 120B gemessen.
Auf das Wortintervall umgerechnet liegen zwischen den beiden Tokens nur 0,69 Millisekunden.
Normalerweise liest ein Mensch etwa fünf oder sechs Wörter in einer Sekunde, spuckt jedoch in einer Sekunde 1.459 Wörter aus. Die Augen können nicht mithalten und der Bildschirm kann sie nicht lesen.
Grün ist Jalapeño, Blau ist die stärkste verfügbare Farbe. Die drei Modelle sind jeweils 2,7-mal, 4,1-mal und 3,8-mal schneller
Der Abstand von vier Sekunden zwischen 1,65 Sekunden und 5,99 Sekunden kann im Chat toleriert werden, aber bei der Verwendung für einen Agenten ist das eine andere Sache, da eine Aufgabe Dutzende aufeinanderfolgender Schritte erfordert, sodass der Unterschied vervielfacht werden muss.
Dann hieß es, dass das gesamte Netzwerk 104,3 Mal rotierte.
Was es genau bedeutet, ist, dass der Durchsatz von Jalapeño zu diesem Zeitpunkt 104,3-mal so hoch ist, wenn GB300 auf seine höchste Decodierungsgeschwindigkeit gebracht wird, die bei 169 Token pro Sekunde liegt.
Dieser Trend gilt für die drei Modelle, wobei GPT-OSS das 53,7-fache und das 1T-Modell das 56,1-fache erreicht.
Für dasselbe Modell erhöht sich der Vorsprungsrand mit zunehmender erforderlicher Wortproduktionsgeschwindigkeit vom 1,7-fachen auf das 104,3-fache
Mit anderen Worten, genau dort, wo der Gegner ans Limit stößt und zu schnaufen beginnt, bewegt er sich noch ruhig dahin.
Wenn die Spitzenwerte auf der Grundlage ihrer jeweiligen besten Arbeitspunkte berechnet werden, fällt der Unterschied viel geringer aus, nämlich 1,9-fach, 1,7-fach bzw. 1,5-fach für die drei Modelle.
Was wirklich Distanz schafft, ist die Szene mit der hohen Interaktion
Die horizontale Achse des linken Bildes ist die Wortausgabegeschwindigkeit und die horizontale Achse des rechten Bildes ist die Verzögerung der vollständigen Anfrage. Der grüne Jalapeño drückt den blauen GB200 auf der gesamten Kurve
SemiAnalysis berücksichtigt Stromversorgung, Wärmeableitung und Netzwerk und verteilt diese dann auf jeden Chip.
Daher verfügt Jalapeño über 1,125 Kilowatt pro Einheit, GB200 über 1,87 Kilowatt und Vera Rubin über 3,3 Kilowatt.
Beim Ausführen von GPT-OSS in diesem Kaliber gibt Jalapeño etwa 53 Millionen Token pro Megawatt und Sekunde aus, und GB200 NVL72 spuckt nur etwa 10 Millionen aus.
Das Lila ist Jalapeño, die horizontale Achse ist die Interaktionsgeschwindigkeit und die vertikale Achse ist die Anzahl der pro Megawatt pro Sekunde ausgespuckten Token
In Bezug auf die Kosten betragen die Gesamtbetriebskosten pro Chip-Stunde 1,56 US-Dollar für Jalapeño, was fast genauso viel ist wie 1,55 US-Dollar für H100, während Vera Rubin 3,61 US-Dollar beträgt.
Grün ist Vera Rubin, Lila ist Jalapeño. Nach 200 Token pro Sekunde erreichte Lila eine Stelle, die für Grün unerreichbar war
Das Schlimmste ist, dass diese Ergebnisse nicht die volle Stärke von Jalapeño ausmachen.
Es ermöglicht nicht einmal spekulative Dekodierung und Token-Vorhersage, noch führt es eine separate Bereitstellung von Vorfüllung und Dekodierung durch. Allerdings führt jeder zweite Chip im Bild seine eigene optimale Konfiguration aus und keine der Optimierungen, die aktiviert werden sollten, wird ausgelassen.
SemiAnalysis schätzt, dass allein die spekulative Dekodierung die Kosten pro Token um mehr als 2/3 senken kann.
Ein Jalapeño kann auch den „Doom Slayer“ ausführen
02
In neun Monaten hat GPT-Astra bis zum Tape-Out-Raum gearbeitet
Für so etwas dauerte es vom Entwurf bis zur Veröffentlichung von OpenAI nur neun Monate. Im Vergleich dazu beträgt ein üblicher Zeitrahmen in der Branche 18–36 Monate.
Jeder, der sich mit ASIC beschäftigt hat, weiß, dass die Verifizierung die anstrengendste Aufgabe in diesem Zyklus ist. Die Simulation muss immer wieder durchlaufen werden, und wenn man einen Ort wechselt, muss man von vorne beginnen.
Der Grund, warum OpenAI „schummeln“ kann, liegt darin, dass es sein leistungsstärkstes Modell in den Tape-Out-Raum einlädt——
Das Modell, das zur Entwicklung von Jalapeño beigetragen hat, heißt GPT-Astra, das ist das GPT-6, über das in der Außenwelt gemunkelt wurde!
Während des gesamten Prozesses wurde GPT-Astra praktisch zur stärksten Unterstützung des Teams.
Es hilft bei der Erforschung von Implementierungslösungen, quetscht den gesamten „Design-Messung-Verifizierung“-Kreis zu Tode und manipuliert auch arithmetische Schaltkreise im Mikromaßstab.
Inwieweit wird Mikromanagement durchgeführt? Die von SemiAnalysis ermittelten Zahlen besagen, dass KI-gestütztes Design die Fläche der SIMD-Einheit um 8 % und die Fläche der Matrix-Engine um 10 % reduziert.
Gleichzeitig sind diese Module hinsichtlich Timing und Stromverbrauch besser als die erste Version.
Der Rechenchip befindet sich in der Mitte, mit drei HBM4s auf jeder Seite, und der oberste ist der I/O-Chip
Der Hauptberechnungschip ist etwa 840 Quadratmillimeter groß, und die Maskengrenze der EUV-Lithographiemaschine beträgt 858 Quadratmillimeter. Dieses Stück Silizium ist nur 18 Quadratmillimeter von der physischen Decke entfernt.
Man kann sagen, dass der Bereich, in dem das Fotolithografiegerät zum Zeichnen verwendet werden kann, im Grunde genommen belegt ist und überhaupt nichts übrig bleibt.
Die rosa Zeile ist Jalapeño und die drei Spalten ganz rechts sind HBM-Bandbreite pro Watt, FLOPs pro Watt und das Verhältnis von Rechenleistung zu Bandbreite.
In Bezug auf die HBM-Bandbreite pro Watt liegt Jalapeño bei 22, der zweitplatzierte Rubin bei 11,1 und GB300 bei nur 5,71. Er ist genau doppelt so hoch wie der Zweitplatzierte.
Die FLOPs pro Watt betragen 19,1 und die von Rubin 19,4. Die beiden liegen fast gleichauf, aber der Rubin verbraucht mehr als 1.800 Watt, während der Jalapeño nur 700 Watt verbraucht.
Dies läuft nur mit A0-Schritten. B0 ist bereits in der Fabrik und seine Leistung pro Watt ist etwa 25 % höher als die von A0.
Auf diese Weise verwandelte OpenAI mithilfe der leistungsstarken Kombination von Codex und GPT-Astra drei ursprünglich nicht geplante Open-Source-Modelle in nur zwei Monaten in einen Hochleistungszustand.
Was noch beängstigender ist, ist, dass in den leistungsintensivsten „Aufmerksamkeits“- und MoE-Modulen der von der KI eingegebene Code 1,5 bis 1,8 Mal schneller läuft als der von menschlichen Top-Experten.
KI entwirft den Chip, der Chip führt KI aus und die KI geht zurück, um die KI auf dem Chip zu optimieren.
Dieses Schwungrad, OpenAI, dreht sich bereits.
CUDA-Graben, tot?
NVIDIAs tiefster Graben war schon immer CUDA.
Der in den letzten zwei Jahrzehnten angesammelte Software-Stack hat das Muskelgedächtnis von Ingenieuren auf der ganzen Welt kultiviert. Jedes Mal, wenn die Hardware geändert wird, müssen sie sie demontieren und von vorne beginnen.
SemiAnalysis fällte in dem Artikel ein sehr hartes Urteil und sagte, dass der Wassergraben von CUDA möglicherweise tot sei.
Der Grund ist die Geschwindigkeit.
Sie fügten auch einen herzzerreißenderen Vergleich hinzu: Nvidias Rubin hat das CoWoS-Tapeout tatsächlich einen Monat früher als Jalapeño abgeschlossen.
Aber bis jetzt sind die einzigen Rubin-Ergebnisse, die die Außenwelt sehen kann, die Daten von CoreWeave-Entwicklungsbeispielen. Nvidia schickt Dritte nicht wie OpenAI für stichprobenartige Tests ins Labor.
Das Problem liegt also in der Geschwindigkeit, mit der die Software startet. An der Hardware von NVIDIA selbst ist nichts auszusetzen.
Bei Null anzufangen verschafft OpenAI sogar einen Vorteil. Es muss kein historisches Gepäck mitgeführt werden, und die Architektur kann vollständig auf einem weißen Blatt Papier gezeichnet werden.
Der letzte Satz von SemiAnalysis ist sehr anschaulich——
Sie sagen, dass OpenAI-Modelle wie GPT-5.6 Sol, die auf NVIDIA-GPUs laufen, verwendet wurden, um einen Chip zu entwickeln, der den CUDA-Graben wirklich bedroht. NVIDIAs eigene GPUs bringen in Echtzeit ihre eigenen „Nachfolger“ hervor.
03
10 Gigawatt, das ist erst der Anfang
Jalapeño ist nur der erste Versuch an einer Front.
Im Oktober letzten Jahres haben OpenAI und Broadcom einen großen Schritt gemacht und einen großen Kooperationsauftrag für einen maßgeschneiderten 10-GW-Beschleuniger unterzeichnet.
Ultraman und Broadcom-CEO Chen Fuyang präsentierten den Jalapeño-Wafer mit der Aufschrift „Jalapeño Intelligence Processor“ auf dem Typenschild
Das 10-GW-Niveau entspricht fast zehn Kernkraftwerken, die mit voller Kapazität laufen.
Links der CPU-Hauptschrank, rechts der ASIC-Schrank, 128 Chips in einem Schrank, die Gesamtleistung der beiden Schränke beträgt etwa 160 Kilowatt
Übrigens heißt das Fach, in dem sich die CPU befindet, Katsu, der Chip heißt Vindaloo Indian Curry und der Schalter heißt Chana Kichererbsen. Von japanischem Essen bis hin zu scharfem indischem Essen möchten diese Leute wirklich, dass Sie sich an dieses System erinnern.
Und Jalapeño ist nur die erste Generation auf der Roadmap, wie OpenAI im Bericht klar feststellt——
Gen2 befindet sich bereits in der intensiven Entwicklung und auch Gen3 nimmt Gestalt an.
Die Massenproduktion wird erst 2027 schrittweise hochgefahren, der nächste Meilenstein liegt bei 100 Megawatt.
Erst heute wurde jedoch bekannt, dass der Rechenzentrumsmanager von OpenAI, Chris Malone, tot ist!
Malone ist der Kopf von Stargate.
Jetzt rückt der Börsengang immer näher. Zu diesem Zeitpunkt lässt der Verlust des Hauptkommandanten der Computerinfrastruktur die Menschen über die Unterströmung hinter OpenAI nachdenken.
Natürlich reicht ein Jalapeño nicht aus, um Nvidia zu stürzen.
Aber das eigentliche Gefahrensignal ist, dass OpenAI Modelle, Chips und Software in ein beschleunigtes Schwungrad verwandelt hat.
Der heutige Jalapeño ist erst die erste Generation, gefolgt von Gen2, Gen3 und einer 10-GW-Rechenleistungslandschaft. Selbst wenn die Kernführungskräfte das Unternehmen verlassen, kann dies nicht verhindern, dass dieser Weg weiter vorangetrieben wird.
Nvidia sitzt immer noch auf dem Thron.
Nur dieses Mal stellte sich der Ersatz nicht vor der Tür auf, sondern war bereits in den Computerraum gerannt.
Nvidias Rivalen begannen endlich, ihr eigenes Nvidia zu bauen.
Kommentare