OpenAI hat für mehr als 5 Milliarden US-Dollar über die Übernahme eines Start-up-Unternehmens verhandelt, das den „Denk“-Mechanismus von KI analysiert.

📅 2026-11-16

Zusammenfassung:

In diesem Sommer versuchten die Teams von OpenAI herauszufinden, warum ihre KI Sicherheitslücken innerhalb und außerhalb des Unternehmens verursachte. In dieser Zeit hatten viele leitende Angestellte, darunter CEO Sam Altman, viele Treffen mit dem Start-up Goodfire. Die von Anthropic unterstützte Technologie von Goodfire zielt darauf ab, die zugrunde liegenden Gründe zu verstehen, warum sich KI-Modelle auf bestimmte Weise verhalten, und wie verhindert werden kann, dass die KI außer Kontrolle gerät.

Goodfire CEO Eric Ho (links) und OpenAI CEO Sam Altman.
Goodfire CEO Eric Ho (links) und OpenAI CEO Sam Altman.

Zwei mit der Angelegenheit vertraute Personen gaben bekannt, dass ein OpenAI-Manager während des Verhandlungsprozesses angeboten hatte,

mehr als 5 Milliarden US-Dollar

aufzubringen Das Unternehmen wird dieses zwei Jahre alte Start-up-Unternehmen zu einem angemessenen Preis erwerben oder andere Formen der geschäftlichen Zusammenarbeit eingehen. Goodfire schloss im Februar eine Finanzierungsrunde ab, bei der das Unternehmen durch Privatplatzierungen mit 1,25 Milliarden US-Dollar bewertet wurde, und das 5-Milliarden-Dollar-Angebot stellte einen enormen Aufschlag auf diese Bewertung dar.

Die Übernahme kam letztlich nicht zustande. Diese Verhandlungsreihe, über die noch nie zuvor berichtet wurde, zeigt, dass sowohl Anthropic als auch OpenAI angesichts der Zunahme KI-gesteuerter Sicherheitsvorfälle besorgt sind über „die Fähigkeit, die von ihnen entwickelte KI-Technologie zu kontrollieren“. Die Erklärbarkeit von Mechanismen, ein einst unpopulärer Industriezweig, erlangt nun große Aufmerksamkeit.

Einer der mit der Angelegenheit vertrauten Personen sagte, dass einer der Hauptgründe für das Scheitern der Verhandlungen darin besteht, dass das Goodfire-Management davon ausgeht, dass der Wert des Unternehmens mehr als 5 Milliarden US-Dollar betragen wird, wenn es eine unabhängige Entwicklung aufrechterhält und Technologie an mehrere KI-Unternehmen exportiert.

Führungskräfte von OpenAI, Anthropic und Google geben alle zu, dass die Zuverlässigkeit traditioneller Methoden zur Überwachung des KI-Verhaltens abnimmt und die Software von Goodfire dadurch immer wertvoller geworden ist. Sein technischer Weg unterscheidet sich von der traditionellen Lösung von Entwicklern wie OpenAI: Die traditionelle Lösung besteht darin, den Text der Gedankenkettenausgabe während der Modellinferenz zu lesen und dabei das tatsächliche Verhalten der KI genau zu beobachten. (Sehen Sie sich unten das Interview mit dem CEO von Goodfire an.)

Neue KI-Entwicklungen wie die geheime Technologie hinter dem Astra-Modell von OpenAI werden die Menge der vom Modell ausgegebenen Denkketteninformationen komprimieren, was die Überwachung weiter erschwert.

In den letzten Monaten kam es zu KI-Sicherheitsvorfällen nacheinander (darunter der bekannte Einbruchsvorfall Hugging Face, der durch die Technologie von OpenAI verursacht wurde und sogar in einige der eigenen Systeme von OpenAI eindrang). Für große Modellhersteller wie OpenAI ist es dringend erforderlich, einen stärkeren Sicherheitsschutz aufzubauen.

Sobald ihre eigene KI in Unternehmens- und Regierungssysteme eindringt und wirtschaftliche Verluste verursacht, besteht für Unternehmen wie OpenAI und Anthropic möglicherweise auch das Risiko einer hohen rechtlichen Entschädigung oder sogar einer strafrechtlichen Verfolgung.

Goodfires Kernkompetenz ist

Mech Interp

. Anders als die Überwachung der Gedankenkette beobachtet Software von Konkurrenzprodukten wie Goodfire und Martian direkt die mathematischen Berechnungen, die im Modell ablaufen. Goodfire räumte außerdem ein, dass der aktuelle Reifegrad dieser Technologie nicht so gut sei wie der der Gedankenkettenüberwachung; Einige KI-Forscher glauben auch, dass ihre wissenschaftliche Forschungsgenauigkeit schwächer ist als die anderer Forschungsrichtungen im Bereich maschinelles Lernen.


Aber Goodfire-Mitbegründer und Chefwissenschaftler Tom McGrath sagte in einem YouTube-Interview, dass die Technologie des Startups schnell iterieren wird und die Kosten viel geringer sein werden als bei der Gedankenkettenüberwachung – letztere erfordert die Ausführung eines großen Modells, um die Gedankenkettenausgabe eines anderen Modells zu lesen. Er prognostiziert, dass erklärbarkeitsbasierte Überwachungslösungen innerhalb der nächsten sechs Monate mit den Möglichkeiten der Gedankenkettenüberwachung gleichziehen werden.

Das Startup aus San Francisco verkauft Jahresabonnements für sein Silico-Produkt an Unternehmen, das KI-Agenten einsetzt, um automatisch verschiedene Forschungsexperimente durchzuführen, beispielsweise um zu erkennen, ob ein Modell versucht, einen Cyberangriff zu starten. Zu seinen Kunden zählen Rakuten und das KI-Neurowissenschaftsunternehmen Prima Mente. Goodfire hat Einnahmen generiert, die genaue Höhe wurde jedoch nicht bekannt gegeben.

Die Interpretierbarkeit von Mechanismen erfordert einen umfassenden Zugriff auf Modellgewichte (die numerischen Parameter, aus denen das KI-Modell besteht), die von großen Herstellern streng vertraulich behandelt werden. Daher werden einige Goodfire-Mitarbeiter vor Ort bei Kundenunternehmen sein, um Arbeiten auszuführen.

Informierte Quellen enthüllten, dass Altman bei den Verhandlungen zwischen OpenAI und Goodfire besonderes Augenmerk auf die Forschungsergebnisse des Goodfire-Forschers Nick Cammarata gelegt hat. Kammarata arbeitete einst bei OpenAI. Letzten Monat veröffentlichte er einen Artikel mit dem Titel „Neuronale Netze sind klar und interpretierbar“, der in der Fachwelt weit verbreitet war. Er schlug vor, dass Forscher mithilfe der Interpretierbarkeit von Mechanismen die Milliarden von Neuronen (mathematische Operationseinheiten innerhalb des Modells) innerhalb des KI-Modells leichter verstehen können als bisher angenommen. Viele Forscher glauben, dass dieses Verständnis dazu beitragen kann, Modelle mit besserer Leistung zu entwickeln.

Viele führende große Modellunternehmen haben Forschungsteams für die Interpretierbarkeit von Mechanismen eingerichtet. Als einer der Pioniere auf diesem Gebiet war Anthropic in dieser Richtung besonders aktiv.

Chris Ola gilt als Begründer des Gebiets der Erklärbarkeit von Mechanismen. Er war Mitbegründer von Anthropic, nachdem er OpenAI im Jahr 2020 verlassen hatte, und leitet nun die Erklärbarkeitsforschung bei dem von Claude entwickelten Unternehmen. Anthropic hat seine Investition in Goodfire letztes Jahr abgeschlossen und war damit das erste Mal in seiner Geschichte, dass Anthropic eine direkte Beteiligung an einem externen Startup übernommen hat. CEO Dario Amodei sagte damals: „Diese Investition spiegelt unsere Überzeugung wider, dass die Erklärbarkeit von Mechanismen am vielversprechendsten ist, um Black-Box-Neuronale Netze in verständliche und kontrollierbare Systeme umzuwandeln.“

Den Rekrutierungsinformationen zufolge rekrutiert OpenAI auch Forscher im Bereich Alignment und Interpretierbarkeit; Anfang des Jahres integrierte OpenAI die Interpretierbarkeitstechnologie in den Sicherheitsprozess, um gefährliche Ergebnisse des Modells zu identifizieren, beispielsweise die Beantwortung böswilliger Fragen im Zusammenhang mit Cyberangriffen und biologischen Waffen. Personen, die OpenAI nahestehen, sagen, dass die Begeisterung für die Erklärbarkeitsrichtung unter den Forschern des Unternehmens zunimmt.

Verwandte Tags

Ähnliche Artikel

Kommentare

0/500
Captcha (click to refresh)
Keine Kommentare