Laut zwei mit der Angelegenheit vertrauten Personen entwickelt Google einen neuen Serverchip, der die zugrunde liegende Architektur des großen Gemini-Modells direkt in der Chip-Hardware verfestigen und so die betriebliche Effizienz der Bereitstellung von KI-Diensten für Benutzer erheblich verbessern kann. Dieser Chip mit dem internen Codenamen „Frozen v2“ soll Googles derzeitigen gravierenden Mangel an KI-Rechenleistung beheben. Die Rechenleistungslücke hat zu internen Ressourcenkonflikten geführt und Google Cloud sogar gezwungen, Kooperationsaufträge vieler externer Kunden abzulehnen.
Mit der Angelegenheit vertraute Personen sagten, das Forschungs- und Entwicklungsteam habe berechnet, dass nach der offiziellen Einführung des Chips die Anzahl der Token, die pro Stromverbrauchseinheit verarbeitet werden können, das Sechs- bis Zehnfache der Anzahl der von Google selbst entwickelten KI-Chips der neuesten Generation erreichen und damit einen qualitativen Sprung in der Energieeffizienz erzielen werde.
Der Ursprung des Codenamens „Frozen“ liegt in der zentralen Designidee: Einen Teil der Rechenlogik des großen Modells dauerhaft in die Silizium-Hardware zu ätzen. Die Ingenieure sind noch dabei, die Kernfunktionsmodule des Chips und die Art und Weise, wie die einzelnen Komponenten zusammenarbeiten, zu finalisieren. Mit der Angelegenheit vertraute Personen sagten, dass Google plant, den Chip bereits im Jahr 2028 einzusetzen.
Project Frozen zielt darauf ab, eine neue selbstentwickelte Chip-Produktlinie zu schaffen, die die bestehenden Tensorprozessoren (TPUs) von Google ergänzt, anstatt sie zu ersetzen. Die derzeit am weitesten verbreiteten KI-Chips, NVIDIA GPU und Google TPU, sind Allzweckchips, die an eine Vielzahl verschiedener großer Modelle angepasst werden können. Wenn jedoch Allzweck-Chips ein beliebiges Modell ausführen, müssen sie eine große Anzahl zeitaufwändiger logischer Beurteilungen in Echtzeit durchführen; Frozen v2 verfügt direkt über eine integrierte zugrunde liegende Rechenlogik, die sich an die Modelle der Gemini-Serie anpasst, wodurch die Chip-Rechenschritte und das Datenübertragungsvolumen erheblich reduziert werden können.
Einer der mit der Angelegenheit vertrauten Personen sagte, dieser spezielle Chip könne schneller auf Benutzerfragen reagieren und soll Google bei der Einführung neuer KI-Anwendungsszenarien unterstützen. Dieser Chip bedeutet aber auch, dass Google darauf setzt, weiterhin die zugrunde liegende Architektur des aktuellen Gemini-Großmodells zu verwenden: Nur nachfolgende Iterationen des Gemini-Modells übernehmen die gleiche Infrastruktur, da der Chip für den normalen Betrieb auf dem Chip konzipiert wurde.
Mit der Angelegenheit vertraute Personen fügten hinzu, dass Google den Chip immer noch iterativ optimieren kann, einschließlich der Aktualisierung der integrierten Modellgewichte (Gewichte sind die Kernparameterkonfiguration, die bestimmt, wie das Modell Fragen beantwortet).
Der offizielle Sprecher von Google antwortete: Die Teams des Unternehmens „entwickeln und testen weiterhin verschiedene innovative Technologien und streben danach, ultimative Leistung und Energieeffizienz für Benutzer und Unternehmenskunden zu erreichen.“
Der Sprecher fügte hinzu: „Nicht alle Forschungs- und Entwicklungsprojekte werden in die Massenproduktion gebracht, aber diese Art der umfassenden Technologieerkundung ist ein zentraler Bestandteil unserer Technologieroute zur umfassenden Selbstforschung.“
Warum Inferenzchips in den Fokus der Branche geraten sind
Start-ups wie Samba Nova und d-Matrix sowie Technologiegiganten wie OpenAI und Microsoft entwickeln KI-Inferenzchips – Computerhardware, die speziell zur Bereitstellung externer Dienste für große Modelle verwendet wird. Das Ziel jedes Unternehmens besteht darin, eine Inferenz-Energieeffizienz zu erreichen, die die von NVIDIA-GPUs übertrifft, den Mangel an Rechenleistung zu lindern und die Betriebskosten zu senken. Auch Nvidia selbst gab im Dezember letzten Jahres 20 Milliarden US-Dollar aus, um die Technologielizenz des Inferenzchip-Herstellers Groq zu erwerben.
Die technischen Wege verschiedener Akteure in der Branche unterscheiden sich von Googles Frozen-Lösung, aber die Designidee von Frozen v2 ähnelt stark der des kanadischen Chip-Startups Taalas: Letzteres entschied sich auch dafür, die Logik bestimmter großer Modelle fest in den Chip zu codieren. Taalas hat eine Finanzierung in Höhe von über 200 Millionen US-Dollar abgeschlossen, zu den Investoren zählen Quiet Capital und Fidelity Investments.
Die Entwicklungsiteration von Frozen v2 stammt aus der ursprünglichen Frozen-Lösung. Die Lösung der ersten Generation wird von Jeff Dean, Chefwissenschaftler von Google DeepMind, geleitet und sieht vor, die vollständigen Modellgewichte direkt in den Chip zu ätzen. Allerdings weist diese Lösung offensichtliche Mängel auf: Der Chip kann nur an eine einzige Gemini-Version angepasst werden und der Hardware-Lebenszyklus ist extrem kurz, sodass er viele Jahre auf Eis gelegt wurde.
Eine andere mit der Angelegenheit vertraute Person gab bekannt, dass Google immer noch abwägt, wie viele Modellinformationen im Frozen v2-Chip verfestigt werden, um Hardwareflexibilität und Betriebsenergieeffizienz in Einklang zu bringen.
Der Einsatz selbst entwickelter Chips durch Google hat bisher Früchte getragen. In diesem Jahr brachte Google die TPU der achten Generation auf den Markt und bewarb sie direkt bei Cloud-Kunden, was sich direkt auf den Monopolmarktanteil von Nvidia auswirkte. Google hat einen milliardenschweren Vertrag mit Meta unterzeichnet, um ihm TPU-Rechenleistung zu vermieten und versucht gleichzeitig, TPU an Nvidias wichtigste Cloud-Anbieterkunden zu liefern.
Selbstentwickelte KI-Chips und der Verzicht auf Nvidia-GPUs haben Google dabei geholfen, die Betriebskosten des Gemini-Modells zu senken – Google hat es beim Design der TPU an Gemini angepasst, aber die in die TPU integrierten Modellinformationen sind weitaus geringer als die der Chips der Frozen-Serie.
Google hat derzeit keine Pläne, Frozen v2 in Massenproduktion herzustellen, und die Produktionskapazität wird viel geringer sein als bei TPU. Mit der Angelegenheit vertraute Personen sagten, dass der Massenproduktionsumfang dieses Chips begrenzt sei und Google die Einführung externer Design- und Gießereipartner verschieben könne; Gleichzeitig betrachtet Google diese Produktgeneration als Technologietestplattform. Nachdem sich die zugrunde liegende Architektur des großen Modells stabilisiert hat, wird es technische Erfahrung für die Entwicklung spezialisierterer Chips sammeln.