Zusammenfassung:
Laut Bloomberg hat Nvidia am 28. September
ein neues zweischichtiges KI-Sicherheitssystem eingeführt
. Das Unternehmen sagte, der Vorfall hätte vermieden werden können, wenn das KI-Modell von OpenAI zum Zeitpunkt des Hugging Face-Einbruchs auf dem System eingesetzt worden wäre.
Huang Renxun
Nvidia hat seine Produktpalette schnell über Chips hinaus erweitert und bringt derzeit zwei Open-Source-Software-Sicherheitstools auf den Markt, die auf seiner Hardware ausgeführt werden können. Sie sollen in Echtzeit steuern, worauf ein KI-Agent zugreifen kann, und ihn abschalten, wenn er gegen die Regeln verstößt.
Das neue System namens Open Agent Security Platform soll eine Möglichkeit bieten, Eindringlinge zu verhindern, ohne die KI-Entwicklung zu verlangsamen.
Justin Boitan, Vizepräsident für Unternehmens-KI bei Nvidia, sagte bei einem Briefing mit Reportern vor der Ankündigung des Systems am Montag, dass der Angriff auf Hugging Face hätte verhindert werden können, wenn führende KI-Labore die Technologie frühzeitig zur Bewertung ihrer KI-Modelle genutzt hätten.
„Basierend auf den Informationen, die wir jetzt haben, hätte diese neue Sicherheitsplattform dieses Eindringen verhindern können“, sagte er. Derzeit hat das unangemessene Verhalten autonomer KI-Agenten einen Schock in der KI-Branche ausgelöst und einige dazu veranlasst, eine Verlangsamung des Entwicklungsprozesses der KI-Technologie zu fordern.
Boitano äußerte sich nicht dazu, ob OpenAI oder der Konkurrent Anthropic planten, dieses neue System zur Überwachung des Modelltrainingsprozesses zu verwenden, bat Reporter jedoch, diese Unternehmen zu befragen.
Zuvor hat Nvidia-CEO Jensen Huang das Risiko heruntergespielt, dass die KI die menschliche Kontrolle verliert. In den letzten Tagen beschrieb Huang KI-Sicherheitsprobleme als eine technische Herausforderung und nicht als ein Problem, das eine stärkere Regulierung oder globale Koordination erfordert. Er widerlegte gemeinsam mit US-Präsident Trump die Behauptungen einiger KI-Entwickler, dass die Technologie zum Aussterben der Menschheit führen könnte, betonte aber auch, dass KI strengen Sicherheitstests unterzogen werden müsse.
Huang Renxuns technische Lösung für KI-Sicherheitsprobleme besteht aus zwei Teilen.
Erstens ist OpenShell ein Softwareprodukt, das Nvidia auf seiner wichtigsten Technologiekonferenz im März vorgestellt hat und das auf Nvidias Vera-Zentraleinheit läuft. Es ermöglicht Benutzern, Regeln dafür festzulegen, auf welche Inhalte KI-Agenten zugreifen können, und diese Regeln in Echtzeit durchzusetzen. Die Software ist Open Source, d. h. sie kann frei genutzt und angepasst werden.Mittlerweile ist Nvidia Sentry ein neues Produkt, das auf Nvidias BlueField-Datenverarbeitungseinheit ausgeführt werden kann. NVIDIA sagte, dass dieses Produkt eine zusätzliche Ebene des KI-Überwachungsmechanismus bieten soll, um das Verhalten von KI-Agenten zu überwachen und einzugreifen und die Agenten zu isolieren, wenn verdächtiges Verhalten festgestellt wird.
Kommentare