OpenAI gibt an, ein neues System zur Überwachung seiner neuesten KI-Inferenzmodelle einzusetzeno3 und o4-mini zur Erkennung von Hinweisen im Zusammenhang mit biologischen und chemischen Bedrohungen.Laut dem Sicherheitsbericht von OpenAI, ein System, das verhindern soll, dass diese Modelle Empfehlungen abgeben, die jemanden dazu verleiten könnten, potenziell schädliche Angriffe durchzuführen.
OpenAI sagte, dass die Leistung von O3 und o4-mini im Vergleich zu früheren Modellen deutlich verbessert wurde, was auch neue Risiken für böswillige Angreifer mit sich bringt. Den internen Benchmarks von OpenAI zufolge ist o3 bei der Beantwortung spezifischer Arten von Fragen im Zusammenhang mit Biobedrohungen besser in der Lage. Aus diesem Grund und um andere Risiken zu reduzieren, hat OpenAI ein neues Überwachungssystem entwickelt, das das Unternehmen als „sicherheitsorientierten Inferenzmonitor“ bezeichnet.
Der Monitor läuft auf o3 und o4-mini und ist individuell darauf trainiert, die Inhaltsrichtlinien von OpenAI zu berücksichtigen. Es soll Hinweise im Zusammenhang mit biologischen und chemischen Risiken identifizieren und das Modell anweisen, Empfehlungen zu diesen Themen abzulehnen.
Um eine Basis festzulegen, ließ OpenAI die Mitglieder des Red-Teams etwa 1.000 Stunden damit verbringen, „unsichere“ Gespräche im Zusammenhang mit Biorisiken in o3 und o4-mini zu kennzeichnen. OpenAI sagte, dass in einem Test, der die „Blockierungslogik“ seiner Sicherheitsmonitore simulierte, die Modelle sich in 98,7 % der Fälle weigerten, auf Risikoaufforderungen zu reagieren.
OpenAI räumte ein, dass bei seinen Tests Personen nicht berücksichtigt wurden, die möglicherweise neue Eingabeaufforderungen ausprobieren, nachdem sie von einem Monitor blockiert wurden, weshalb das Unternehmen ankündigte, dass es weiterhin teilweise auf menschliche Überwachung setzen werde.
Laut OpenAI haben O3 und o4-mini die von OpenAI festgelegte Schwelle für „hohes Risiko“ für biologische Risiken nicht überschritten. Laut OpenAI sind frühere Versionen von o3 und o4-mini jedoch hilfreicher bei der Beantwortung von Fragen zur Entwicklung biologischer Waffen als o1 und GPT-4.
Diagramm der Systemkarten o3 und o4-mini (Screenshot: OpenAI)
Laut dem kürzlich aktualisierten Präventionsrahmen von OpenAI verfolgt das Unternehmen aktiv, wie seine Modelle es böswilligen Benutzern erleichtern, chemische und biologische Bedrohungen zu entwickeln.
OpenAI verlässt sich zunehmend auf automatisierte Systeme, um das Risiko seiner Modelle zu verringern. Um beispielsweise zu verhindern, dass der native Bildgenerator von GPT-4o Inhalte zum sexuellen Missbrauch von Kindern (CSAM) erstellt, verwendet OpenAI nach eigenen Angaben einen Inferenzmonitor, der dem ähnelt, den das Unternehmen für o3 und o4-mini eingesetzt hat.
Einige Forscher befürchten jedoch, dass OpenAI die Sicherheit nicht dorthin bringt, wo sie sein sollte. Metr, einer der Red-Team-Partner des Unternehmens, sagte, sie hätten wenig Zeit, die Täuschungen von o3 zu bewerten. Unterdessen hat OpenAI beschlossen, keinen Sicherheitsbericht zum GPT-4.1-Modell zu veröffentlichen, das Anfang dieser Woche veröffentlicht wurde.