Am 9. März kündigte OpenAI die Übernahme der Sicherheitsplattform für künstliche Intelligenz Promptfoo an und plant, die Technologie des Unternehmens nach Abschluss der Transaktion vollständig in die Agentenplattform OpenAI Frontier auf Unternehmensebene von OpenAI zu integrieren. Promptfoo richtet sich hauptsächlich an Unternehmensanwender und hilft bei der Identifizierung und Behebung verschiedener Sicherheitslücken während der Entwicklungsphase von KI-Systemen. Seine Tools wurden von mehr als einem Viertel der Fortune-500-Unternehmen übernommen und unterstützen die Evaluierung und Red-Team-Tests großer Sprachmodellanwendungen durch Open-Source-CLI und -Bibliotheken.
Laut OpenAI sind Bewertung, Sicherheit und Compliance zu Grundanforderungen geworden, da Unternehmen tatsächlich „KI-Mitarbeiter“ in Geschäftsprozesse einbinden. Unternehmen benötigen nicht nur einen systematischen Ansatz, um das Agentenverhalten zu testen und Risiken zu identifizieren, bevor sie online gehen, sondern sie müssen auch während des langfristigen Betriebs und der Wartung klare Aufzeichnungen führen, um den Anforderungen an Überwachung, Governance und Rechenschaftspflicht gerecht zu werden. Während OpenAI plant, das Promptfoo-Open-Source-Projekt fortzusetzen, wird es seine Fähigkeiten tiefgreifend in Frontier integrieren, um Unternehmensbenutzern umfassendere integrierte Lösungen bereitzustellen.
Das Promptfoo-Team unter der Leitung der Mitbegründer Ian Webster und Michael D’Angelo hat einen ausgereiften und leistungsstarken Satz von Tools zur Bewertung und Angriffssimulation (Red-Teaming) entwickelt, um Unternehmen bei der Identifizierung potenzieller Risiken bei der Anwendung großer Modelle in großem Maßstab zu unterstützen. OpenAI gab an, dass Promptfoo über umfassende technische Kenntnisse in der Evaluierung, Sicherheit und Prüfung von KI-Systemen auf Unternehmensebene verfügt. Seine Arbeit hilft Unternehmen dabei, sicherere und zuverlässigere KI-Anwendungen bereitzustellen. Durch die direkte Integration dieser Funktionen in Frontier wird das Gesamtsicherheitsniveau der Plattform erheblich verbessert.
Nach Angaben von OpenAI werden Unternehmen, die künftig Agenten auf der Frontier-Plattform entwickeln, in mehreren Kernfunktionen verbessert. Erstens werden Sicherheitstests als native Funktionen der Plattform eingebettet: Automatisierte Sicherheitstests und Red-Team-Angriffsfunktionen werden Unternehmen dabei helfen, Risiken wie Prompt-Injection, Jailbreaking, Datenlecks, Tool-Missbrauch und Agentenverhalten außerhalb der Richtlinien zu erkennen und zu mindern. Zweitens werden Sicherheits- und Bewertungsfunktionen enger in den Entwicklungsworkflow integriert, sodass Teams Agentenrisiken früher erkennen, beheben und reparieren können, wodurch Sicherheit zu einem der Kernaspekte der Entwicklung und des Betriebs von KI-Systemen auf Unternehmensebene wird. Drittens wird die Plattform die Aufsichts- und Rechenschaftspflichtfunktionen durch die Integration von Berichts- und Rückverfolgbarkeitstools stärken, um Organisationen dabei zu helfen, Testprozesse aufzuzeichnen, Risikoprofile im Laufe der Zeit zu überwachen und immer strengere Governance-, Risiko- und Compliance-Anforderungen zu erfüllen.
Ian Webster, Mitbegründer und CEO von Promptfoo, sagte, dass die ursprüngliche Absicht von Promptfoo darin bestand, Entwicklern eine praktische und praktikable Lösung zur Gewährleistung der Sicherheit von KI-Systemen zu bieten. Da KI-Agenten immer enger mit realen Daten und Schlüsselsystemen verbunden werden, nehmen die Schwierigkeit und Bedeutung ihres Sicherheitsschutzes und ihrer systematischen Überprüfung rapide zu. Er sagte, dass der Beitritt zu OpenAI es Promptfoo ermöglichen wird, Investitionen in diese Richtung zu beschleunigen und Teams, die reale KI-Systeme entwickeln, stärkere Sicherheits-, Zuverlässigkeits- und Governance-Fähigkeiten zu bieten.
OpenAI sagte, es freue sich, dem Promptfoo-Team beizutreten und werde weiterhin relevante Tools entwickeln, um Unternehmen dabei zu helfen, KI-Anwendungen und Agentensysteme sicher und zuverlässig bereitzustellen. Der Abschluss der Übernahme unterliegt weiterhin der Erfüllung der üblichen Abschlussbedingungen.