Ehemalige Google-Forscher planen den Aufbau eines KI-„Schiedsrichter“-Systems, um das Risiko zu verhindern, dass Models außer Kontrolle geraten

📅 2026-08-26

Zusammenfassung:

Seien Sie im Mittelpunkt der Entwicklung künstlicher Intelligenz, um sicherzustellen, dass diese leistungsstarke Technologie sicher bleibt und das Risiko verringert, dass sie der Kontrolle ihrer Entwickler entgleitet. Dies ist teilweise eine Reaktion auf gängige Praktiken in der heutigen Technologiebranche. In vielen Fällen nutzen Unternehmen KI, um KI zu regulieren. Automatisierte Ansätze bieten Effizienzvorteile, und Untersuchungen zeigen, dass KI bei der Suche nach Modellschwachstellen möglicherweise besser ist als Menschen. Da die KI-Fähigkeiten weiter zunehmen, wird sich diese Kluft wahrscheinlich noch vergrößern.

Aber Rishub Jain, Mitbegründer von Sampura Research, glaubt, dass der Mensch immer noch eine wichtige Rolle spielen muss.

Er und seine Mitbegründer haben 6,5 Millionen US-Dollar an Finanzmitteln aufgebracht und weitere 4,2 Millionen US-Dollar an zugesagten Investitionen erhalten. Sie planen die Entwicklung eines hybriden Mensch-Maschine-Systems namens „Judge“, das Unternehmen dabei helfen soll, Sicherheitslücken zu identifizieren und zu blockieren, die KI-Modelle auszunutzen versuchen, und so das Risiko zu verringern, dass sie der Aufsicht entgehen oder sogar die Kontrolle verlieren. Die Arbeit ist dringlicher geworden, seit OpenAI und Anthropic offengelegt haben, dass ihre Modelle sich unbefugt in die Systeme anderer Unternehmen gehackt haben.

„Ich denke, wir können noch viel von den Menschen lernen“, sagte Jain. „Wenn Menschen von Anfang an in den gesamten Prozess involviert sind, sind die Chancen geringer, dass das Modell lernt, diese Schwachstellen zu umgehen.“

Da Google, Anthropic und OpenAI von Alphabet erbittert um die Vorherrschaft im Zeitalter der künstlichen Intelligenz konkurrieren, glauben einige Forscher im Labor, dass der kommerzielle Druck wichtiger ist als Sicherheitserwägungen. Viele Forscher sind daraufhin aus Protest zurückgetreten und warnten, dass sich die KI zu schnell entwickelt oder für Zwecke eingesetzt wird, die sie nicht akzeptieren können.

Verwandte Tags

Ähnliche Artikel

Kommentare

0/500
验证码
Keine Kommentare