Kürzlich gab Hugging Face, die weltweit größte KI-Open-Source-Community, bekannt, dass sie einen KI-Einbruch in eine Produktionsinfrastruktur erkannt und eingedämmt hat, und nutzte forensische KI-Analysen, um sich dagegen zu verteidigen. Letztendlich war es nicht das amerikanische Spitzenmodell hinter der kommerziellen API, das ihm dabei half, seine Verteidigung erfolgreich abzuschließen, sondern das chinesische Open-Source-Modell GLM 5.2.

Nach dem Vorfall empfahl das Unternehmen den Verteidigern öffentlich, „über ein geprüftes und leicht verfügbares Modell zu verfügen, das auf Ihrer eigenen Infrastruktur läuft, bevor es zu einem Angriff kommt“, sowohl um zu vermeiden, dass Sie durch Leitplanken eingesperrt werden, als auch um zu verhindern, dass Daten und Anmeldeinformationen von Angreifern Ihre Umgebung verlassen.

Hugging Face wurde „gehackt“, ein reiner KI-Agent hat unabhängig angegriffen

In einem spärlich detaillierten Vorfallbericht vom 16. Juli sagte Hugging Face, seine Produktionsinfrastruktur sei in der Woche vom 13. Juli durch ein „autonomes“ KI-Agentensystem kompromittiert worden. Ein unbekannter Angreifer „missbrauchte zwei Codeausführungspfade in der Datensatzverarbeitungspipeline von Hugging Face: den Remote-Code-Datensatzlader und die Vorlageninjektion in der Datensatzkonfiguration, um Code auf verarbeitenden Arbeitsknoten (d. h. Recheninstanzen) auszuführen.“


Anschließend „stiegen sie über das Wochenende auf den Zugriff auf Knotenebene hoch, sammelten Cloud- und Cluster-Anmeldeinformationen und wechselten im Laufe eines Wochenendes seitlich zu mehreren lokalen Clustern. Die Angreifer nutzten „eine Reihe kurzlebiger Sandboxes und platzierten ‚selbstmigrierende‘ Command and Control (C2) auf öffentlichen Diensten“, sagte das Unternehmen.

Der unbefugte Zugriff betraf eine kleine Anzahl interner Datensätze und Dienstanmeldeinformationen, aber Hugging Face fand keine Hinweise auf Manipulationen an öffentlichen Modellen, Datensätzen, Spaces oder seiner Software-Lieferkette, und seine Lieferkette (Containerbilder und veröffentlichte Pakete) wurde „als sauber verifiziert“.

Hugging Face sagte den Kunden: „Wir empfehlen, alle Zugriffstokens zu wechseln und die letzten Aktivitäten auf Ihrem Konto zu überprüfen.“ Das Unternehmen sagte, es sei „noch dabei, seine Beurteilung, ob Partner- oder Kundendaten betroffen waren, abzuschließen“ und werde betroffene Kunden direkt kontaktieren, wenn Beweise gefunden würden.

Das Einzigartige an dieser Operation war ihre Autonomie und ihr Umfang. Der Einbruch wurde von Anfang bis Ende durch ein System autonomer KI-Agenten vorangetrieben, die Tausende unabhängiger Operationen in einer großen Anzahl kurzlebiger Sandboxen durchführten und dabei eine selbstmigrierende Befehls- und Kontrollinfrastruktur nutzten, die huckepack auf öffentliche Dienste gesetzt wurde, und Hugging Face nutzte außerdem weitgehend seine eigene KI zur Erkennung und Profilerstellung.

Das Unternehmen sagte in dem Bericht, dass das autonome Agenten-Framework, das den Angriff gestartet hat, offenbar auf einem Forschungs-Toolkit zur Agentensicherheit basiert und das verwendete LLM noch nicht klar ist, was mit der langfristigen Vorhersage der Branche eines „Agenten-Angreifer“-Szenarios übereinstimmt.

Gleichzeitig spiegelt dieser Vorfall auch einen breiteren Branchentrend wider: Autonome offensive KI-Tools sind von der Theorie in die Praxis übergegangen und haben die Kosten für die Durchführung groß angelegter, geduldiger, mehrstufiger Angriffskampagnen und die Ausführung mit maschinenähnlicher Geschwindigkeit gesenkt.

Kürzlich hat das Sicherheitsunternehmen Sysdig einen Fall namens „JADEPUFFER“ bekannt gegeben, der als die erste vollständig autonome KI-gesteuerte Ransomware-Operation beschrieben wird, bei der ein KI-Agent selbstständig einen mit dem Internet verbundenen Server kompromittiert, seitlich bewegt, Dateien verschlüsselt und eine Lösegeldforderung gestellt hat – und das alles ohne menschliches Zutun.

Es wird berichtet, dass das britische National Cyber ​​​​Security Centre das „Cyber ​​​​Shield“-Programm gestartet hat, um als Reaktion darauf im ganzen Land KI-gesteuerte Abwehrmaßnahmen einzusetzen.

Der GLM-5.2, ein US-kommerzielles Grenzmodell, „streikt“ und geht in den Kampf, um zu reagieren

„Als wir mit der Protokollanalyse begannen, verwendeten wir zunächst das hochmoderne Modell hinter einer kommerziellen API. Dies war erfolglos: Die Analyse erforderte die Übermittlung einer großen Anzahl echter Angriffsbefehle, Exploit-Payloads und C2-Artefakte, und diese Anfragen wurden durch die Sicherheitsleitplanken des Anbieters blockiert“, betonte Hugging Face in dem Bericht.

Es wird davon ausgegangen, dass die eigene Anomalieerkennungspipeline von Hugging Face eine sichere Telemetrieklassifizierung auf der Grundlage großer Sprachmodelle nutzte, um den Einbruch zunächst durch Korrelation von Signalen zu kennzeichnen, die andernfalls im alltäglichen Lärm ignoriert würden. Um die vollständige Angriffszeitleiste aus mehr als 17.000 aufgezeichneten Angreiferaktionen zu rekonstruieren, führte Hugging Face einen großen, sprachmodellgesteuerten Analyseagenten für das gesamte Protokoll aus und komprimierte so die Zeit, die normalerweise Tage dauern würde, in Stunden.

Ein wichtiges Ergebnis der Untersuchung: Commercial Frontier Model APIs weigerten sich, forensische Analysen durchzuführen, weil ihre Sicherheitsleitplanken nicht zwischen Vorfallhelfern, die echte Exploit-Payloads und C2-Artefakte übermittelten, und echten Angreifern unterschieden. Hugging Face sagte, es sei dann „auf die Ausführung von GLM 5.2 umgestiegen, einem Open-Weight-Modell, auf seiner eigenen Infrastruktur für forensische Analysen“. Hugging Face fügte hinzu: „Dies hat auch einen sekundären Vorteil: Keine Angreiferdaten oder die darin referenzierten Anmeldeinformationen verlassen unsere Umgebung …“

Zu diesem Zeitpunkt hat Hugging Face weder angegeben, welches Business-Forward-Modell es im ersten Versuch zur Reaktion auf Vorfälle zu verwenden versucht, noch wurde klargestellt, welches Modell von den Angreifern verwendet wurde.

Aber die Erfahrung machte Hugging Face auf eine Schwachstelle aufmerksam, die es wert war, im Voraus geplant zu werden: „Wir hatten keine Ahnung, welches Modell der Agent des Angreifers verwendete, das gehostete Modell mit Jailbreak oder das uneingeschränkte Open-Weight-Modell; in beiden Fällen war der Angreifer an keine Nutzungsrichtlinie gebunden, und unsere eigenen forensischen Bemühungen wurden durch die Sicherheitsvorkehrungen des gehosteten Modells, das wir ursprünglich versucht hatten, blockiert.“

Sie schlossen den Bericht mit den Worten ab: „Die praktische Lektion für Verteidiger lautet: Ein geprüftes und leicht verfügbares Modell, das auf Ihrer eigenen Infrastruktur ausgeführt wird, bevor ein Vorfall auftritt, verhindert, dass Sie durch Leitplanken eingesperrt werden und Angreiferdaten und Anmeldeinformationen nicht Ihre Umgebung verlassen. Dies ist kein Einwand gegen Sicherheitsmaßnahmen bei verwalteten Modellen, und wir werden dieses Feedback an relevante Anbieter weitergeben.“

Erwähnenswert ist, dass Hugging Face im Juni dieses Jahres offiziell angekündigt hat, auf eigene Kosten bis zu 6 Stunden weltweite kostenlose Rechenleistungsunterstützung für GLM-5.2, das Open-Source-Flaggschiffmodell GLM-5.2, bereitzustellen.

KI-Berater des Weißen Hauses ist besorgt: „Wir werden nicht mehr wettbewerbsfähig sein“

„Es gibt keinen Grund, US-Modelle auf Aufgaben zu beschränken, die chinesische Modelle problemlos bewältigen können. Wir werden uns dadurch nur weniger wettbewerbsfähig machen.“ Am 19. Juli veröffentlichte David Sacks, der Sonderberater des Weißen Hauses für künstliche Intelligenz und Kryptowährung, einen Beitrag, in dem er die Cybersicherheitsbeschränkungen für US-amerikanische KI-Modelle kritisierte.


Zuvor behaupteten einzelne Entwickler öffentlich, dass Kimi K3 15 Sicherheitslücken behoben habe, während Codex von OpenAI und Claude Fable 5 von Anthropic sich aufgrund von Netzwerksicherheitsschutzmaßnahmen beide weigerten, diese Schwachstellen zu beheben. „Das wird letztlich katastrophal für OpenAI und Anthropic sein“, sagte er. Sacks hat den Beitrag des Entwicklers retweetet und den Vorfall mit dem Hugging Face erwähnt.

Einige Internetnutzer kommentierten dies wie folgt: „Benutzer, die nur große amerikanische Modelle verwenden, sind anfälliger für Angriffe, da sie ihre Sicherheitsprobleme nicht selbst beheben können.“

Es wird davon ausgegangen, dass Anthropic Penetrationstests, Bug Bounties, Exploit-Entwicklung, Privilegieneskalation und die Entdeckung hochwertiger Schwachstellen eindeutig als risikoreiche Dual-Use-Aktivitäten eingestuft hat. Fable 5 soll diese Anfragen blockieren, bis Anthropic eine zuverlässigere Möglichkeit hat, den Zugriff nur auf zugelassene Forscher zu beschränken. Und Anthropic hat die Kosten anerkannt. Bei der erneuten Bereitstellung von Fable 5 am 1. Juli sagte Anthropic, dass sein aktualisierter Klassifikator während des normalen Codierens und Debuggens mehr Fehlalarme erzeugen werde und markierte Fable-Anfragen je nach Produkt und Konfiguration an weniger leistungsfähige Opus 4.8-Modelle weitergeleitet werden könnten.

OpenAI wendet außerdem zusätzliche automatisierte Prüfungen auf Netzwerksicherheitsanfragen in Codex, ChatGPT und seiner API an. OpenAI empfiehlt Verteidigern, deren Anfrage blockiert wird, den Umfang einzuschränken, die Abhilfe zu betonen und Exploit-Details wegzulassen, die für das Verteidigungsergebnis nicht notwendig sind. OpenAI bietet Codex Security auch separat für das Scannen der Codebasis, die Exploit-Verifizierung in Sandboxes und die Patch-Generierung an.

„Wenn große US-Modelle als risikoreich eingestufte Aufgaben ablehnen, können sich Entwickler an offene chinesische Modelle wenden.“ Diese Lektion und das Signal des Hugging-Face-Angriffs haben die Aufmerksamkeit von Informationssicherheitsexperten und Technologieinvestoren auf sich gezogen. Einige Internetnutzer sagten wütend: „Dies ist eine Art ‚Netzwerksicherheit‘, die das Pferd von hinten aufzäumt: Angreifer können uneingeschränkte Modelle verwenden, aber Verteidiger (die ohnehin schon langsam reagieren) werden daran gehindert, den Angriff selbst zu analysieren.“