In bisher nicht veröffentlichten Nachrichten verrieten OpenAI-Ingenieure Anfang des Monats einigen internen Kollegen, dass sie durch eine Reihe neuer technischer Optimierungen einen Weg gefunden hatten, dies zu erreichenDie laufenden Kosten für die Modellinferenz werden um mehr als die Hälfte reduziertplanen.
Nachdem Ingenieure diese neue Technologie auf das ChatGPT-Szenario angewendet hatten, bei dem Besucher, die kein kostenloses/kostenpflichtiges Konto registriert hatten, auf ChatGPT zugegriffen hatten, betrug die in Spitzenzeiten benötigte Rechenleistung von NVIDIA-Grafikkarten nur ein paar hundert Yuan. Diese Zahl war niedriger als erwartet. (Natürlich hat OpenAI eine Beschränkung der Anrufhäufigkeit für diese Art anonymer Besucher festgelegt, und die Gesamtnutzung von ChatGPT durch diese Gruppe ist nicht hoch.)
Derzeit hat OpenAI die spezifischen technischen Details, die für diese Effizienzverbesserung verwendet werden, nicht bekannt gegeben. Die Branche geht davon aus, dass häufig verwendete Optimierungsmethoden Folgendes umfassen: Modellquantifizierung, Schlüsselwert-Caching (damit sich das Modell frühere Berechnungsinformationen merken und wiederholte Vorgänge vermeiden kann), Anforderungsstapelverarbeitung (Beantwortung von Benutzeranfragen in Stapeln, anstatt sie einzeln zu verarbeiten), Planung von Anforderungen an leichtgewichtige Modelle mit geringem Stromverbrauch oder Modelluntermodule, um Antworten zu vervollständigen usw.
Wenn OpenAI jedoch später in diesem Jahr ein Modell der neuen Generation mit größeren Parametern auf den Markt bringt, könnte der Kostensenkungseffekt dieser Reihe von Optimierungstechnologien abgeschwächt werden, da die laufenden Kosten des Modells mit großen Parametern selbst deutlich höher sein werden.
Diese Art der Inferenzoptimierungstechnologie wird aufgerufenTechnologie zur Verdoppelung der Rechenleistung, das auch im Fokus großer KI-Labore steht. Anthropic-CEO Dario Amodei erwähnt das Konzept seit mindestens Mitte 2023 öffentlich in Podcasts. Er sagte damals, dass das Unternehmen den Kreis interner Mitarbeiter, die sich mit einem einzigen Satz von Lösungen zur Rechenleistungsoptimierung auskennen, streng eingeschränkt habe. Sobald die entsprechende Technologie von Kollegen kopiert würde, würde sie anderen KI-Laboren einen Wettbewerbsvorteil verschaffen. (Die Technologie zur Verdoppelung der Rechenleistung kann sich auch auf verschiedene Methoden zur Effizienzoptimierung in der Modelltrainingsphase beziehen.)
Die Bedeutung dieser Art von Optimierungstechnologie wird immer wichtiger. Derzeit sind führende KI-Forschungs- und Entwicklungsunternehmen generell mit einem Mangel an Server-Rechenleistung konfrontiert. Selbst wenn ein Unternehmen einen Vertrag über den Bau eines neuen Rechenzentrums oder die Anmietung eines Rechenzentrums unterzeichnet, vergehen vom Projektstart bis zum offiziellen Start oft Monate oder sogar Jahre. (OpenAI arbeitet auch mit Broadcom zusammen, um selbst spezielle Chips für den Betrieb großer Modelle zu entwickeln und versucht, die Inferenzkosten weiter zu senken, mit dem Ziel, Kostensenkungen im Vergleich zu den kommerziellen Chips von Nvidia zu erreichen.)
Nach der Umsetzung der Technologieoptimierung von OpenAI achtet der Markt auch stark darauf, wie Unternehmen mit den eingesparten Rechenleistungskosten umgehen. Einerseits kann OpenAI Dividenden an die Benutzer weitergeben: entweder das ChatGPT-Anruflimit für zahlende Abonnenten erhöhen oder die Preise für Modellschnittstellen senken, die Entwicklern offen stehen. Heutzutage ist der Aufrufpreis der alten Version des Modells auf einen Bruchteil des ursprünglichen Preises gesunken, und die Inferenzoptimierung ist einer der Hauptgründe.
Dadurch wird die Marktpositionierung von OpenAI als kostengünstiger Modelldienstleister weiter gefestigt. Das Konkurrenzprodukt Anthropic war in letzter Zeit aufgrund hoher Modellpreise umstritten – obwohl der Modell-Output-Effekt besser ist.
Andererseits kann OpenAI auch Kostensenkungserlöse nutzen, um seine Bruttogewinnspanne zu erhöhen, während die Bruttogewinnspanne des Unternehmens hauptsächlich durch die Kosten der Inferenzrechenleistung bestimmt wird. Die Bruttogewinnmarge von OpenAI betrug im ersten Quartal dieses Jahres 39 %, ein Anstieg gegenüber 33 % im gleichen Zeitraum des Vorjahres, aber es besteht immer noch eine große Lücke zur angestrebten Bruttogewinnmarge von 52 % am Jahresende.
Um sein Jahresziel zu erreichen, muss das Unternehmen für den Rest des Jahres eine durchschnittliche Bruttomarge von 56 % erreichen. Der Umsatz von Anthropic stieg in der ersten Hälfte dieses Jahres stark an und es wird erwartet, dass das Unternehmen in diesem Quartal unerwartete Gewinne erzielen wird, was die Geschwindigkeit der Verbesserung der Bruttogewinnmarge während des Boomzyklus der Branche voll und ganz bestätigt.
Zum jetzigen Zeitpunkt hat OpenAI kein absolutes Mitspracherecht bei der Preisgestaltung, aber diese Inferenzoptimierungstechnologie wird seinen Weg zur Verbesserung der Bruttogewinnmarge erheblich erweitern.