Anfang des Jahres diskutierte Google AI-Chef Jeff Dean in einem Podcast über ein Konzept, über das damals außerhalb von Technologiekreisen fast niemand sprach: Destillation. Als er über die Entwicklung der KI-Modelle von Google sprach, sagte Dean, er und seine Kollegen hätten die KI-Destillationstechnologie entdeckt, weil Google die Systemleistung verbessern wollte, ohne sich auf ein einziges großes Bilderkennungsmodell zu verlassen.
„Bei der Destillation – der Schlüsseltechnologie, um kleinere Modelle leistungsfähiger zu machen – muss man über das Spitzenmodell verfügen, bevor man es in sein kleineres Modell destillieren kann“, sagte Dean im Februar.
Fünf Monate später ist die Destillation plötzlich ein heißes Thema vom Silicon Valley bis nach Washington, wo Tech-Insider und Gesetzgeber darüber diskutieren, ob sich die Praxis zu einer nationalen Sicherheitsbedrohung entwickelt.
Auf einer höheren Ebene bezieht sich Destillation auf die Verwendung der Antworten eines Chatbots oder der Ausgabe eines fortschrittlichen KI-Modells, um ein anderes Modell zu trainieren. Dieser Ansatz ist umstritten, da er es Modellentwicklern je nach Anwendung ermöglicht, wettbewerbsfähige Produkte zu schaffen, indem sie einfach die Ergebnisse von Unternehmen nutzen, die Millionen oder Milliarden Dollar in die Entwicklung modernster Trainingstechnologie investiert haben.
„Es ist fast so, als wäre jemand zur Vorlesung gegangen, hätte das Lehrbuch gelesen und alle harten Hausaufgaben gemacht“, sagte Pukhar Hammar, Gründer des KI-Sicherheitsunternehmens SecurityPal. „Dann sagte ein anderer Student: ‚Hey, das habe ich nicht gemacht. Kann ich einfach deine Arbeit kopieren?‘“
Ob aufgrund von Kratsios‘ Post oder aus anderen Gründen, einige der größten Technologiegiganten der Welt haben sich am Freitag in einem beispiellosen Schritt zusammengeschlossen, um eine klare Haltung einzunehmen. Nach einer Woche mit einer Reihe von Social-Media-Beiträgen haben die Technologiegiganten Nvidia, Microsoft, Meta und Palantir zusammen mit mehr als 20 anderen Unternehmen einen gemeinsamen Brief herausgegeben, in dem sie die politischen Entscheidungsträger auffordern, keine „vorzeitigen Beschränkungen“ für offen gewichtete KI-Modelle aufzuerlegen, die „den Wettbewerb ersticken oder Innovationen im Ausland vorantreiben“ könnten.
„Destillation, die Praxis, die Ausgabe eines Modells zu verwenden, um ein anderes Modell zu trainieren oder zu verbessern, ist eine weit verbreitete Technik zur Modellverbesserung, -entwicklung und -validierung“, schreiben sie.
Das Aufkommen der Destillation stellt die politischen Entscheidungsträger in den USA vor ein Problem.
Box-CEO Aaron Levy war einer der Unterzeichner des Briefes vom Freitag. Levy sagte in einem Interview, dass US-Unternehmen Zugang zur besten Technologie haben müssen, um wettbewerbsfähig zu bleiben, unabhängig davon, wo sie entwickelt wird.
„Der allgemeine Trend wird sein, dass je mehr Innovationen es gibt – egal, ob sie aus den USA oder anderswo kommen – desto mehr KI-Fortschritte sind zu erwarten, und im Allgemeinen geht es im Laufe der Zeit um niedrigere Kosten und mehr Effizienz“, sagte Levy.
Shashi Bellamkunda, Forschungsdirektor bei der Info-Tech Research Group, sagte, dass sich ein Großteil der aktuellen Diskussion zwar auf offene KI-Modelle konzentriere, viele Unternehmen jedoch auch Destillationstechniken bei der Erstellung ihrer eigenen Modelle einbeziehen. Beispielsweise verwendet Nvidia die Destillation im Trainingsprozess seiner Modelle der Llama-Nemotron-Serie, was in entsprechenden Forschungsarbeiten ausführlich beschrieben wird.
„Dies ist eine legitime und sehr wertvolle Technik zum Trainieren kleinerer, billigerer Modelle auf der Grundlage der Ergebnisse größerer Modelle, und sie wird weiterhin häufig verwendet“, sagte Bellamkunda.
Anthropic vertritt jedoch eine andere Ansicht, da das Unternehmen erkennt, wie sein Modell genutzt wird, und ein boomendes Geschäft schützen muss.
Anthropic hat einen Wert von fast 1 Billion US-Dollar und beabsichtigt, in naher Zukunft an die Börse zu gehen. Das Unternehmen sagt, dass es eine Frage der nationalen Sicherheit sei, die illegale Destillation zu stoppen.
„Anthropic und andere US-Unternehmen bauen Systeme, um staatliche und nichtstaatliche Akteure daran zu hindern, KI auszunutzen, etwa um biologische Waffen zu entwickeln oder böswillige Cyberaktivitäten durchzuführen“, sagte das Unternehmen in einem Beitrag vom Februar. Und um dies zu verhindern, sind „schnelle, koordinierte Maßnahmen zwischen Branchenakteuren, politischen Entscheidungsträgern und der globalen KI-Gemeinschaft“ erforderlich.
OpenAI und Anthropic verbieten die Destillation in ihren Nutzungsbedingungen. Bellamkunda sagte, sie deuteten im Wesentlichen an, dass die unbefugte Nutzung ihrer großen Modelle einen potenziellen Diebstahl geistigen Eigentums darstelle.
Doch da die Kosten für KI in die Höhe schießen, werden Unternehmen alles tun, um effizienter zu werden.
Hammar sagte, er sei nicht gegen die Verwendung eines Open-Weight-Modells bei SecurityPal, einem Unternehmen, das KI zur Automatisierung von Sicherheitsbewertungen einsetzt. Er sagte, es könne ihnen viel Geld sparen.
„Wir stellen sicher, dass der Code keine böswilligen Hintertüren enthält“, sagte Hammar. „Aber nachdem wir die Bewertung durchgeführt haben, warum hosten wir sie dann nicht auf unserer eigenen Infrastruktur?“
Ein großes Problem, mit dem Anthropic und OpenAI konfrontiert sind, wenn sie versuchen, gegen den Diebstahl geistigen Eigentums vorzugehen, besteht darin, dass beide Unternehmen bei der Erstellung ihrer Modelle auf Inhalte aus anderen Quellen angewiesen sind und dafür verklagt wurden.
Max Pritt, Anwalt bei Boies Schiller Flexner, vertritt Buchautoren in Urheberrechtsklagen gegen KI-Unternehmen. Er sagte, die Regierung sei in der gleichen Lage.
„Zumindest öffentlich hat diese Regierung ihre Bemühungen auf den Schutz des geistigen Eigentums von Technologieunternehmen konzentriert und weitgehend geschwiegen über die unbefugte Nutzung des geistigen Eigentums von Urhebern und Einzelpersonen“, sagte Pritt.