Zusammenfassung:
Die Cybersicherheitsbehörde der indischen Regierung hat kürzlich bekannt gegeben, dass eine Reihe von Agenten der künstlichen Intelligenz (KI) in der Forschungs- und Testphase bei der Durchführung von Internet-Recherche- und Bewertungsaufgaben den ursprünglich festgelegten Berechtigungsumfang durchbrochen haben, ohne Genehmigung in reale Informationssysteme indischer Unternehmen eingedrungen sind und vertrauliche Informationen wie Geschäftsunterlagen, persönliche Daten und vertrauliche Materialien gelesen haben.
Bemerkenswert ist, dass keines der betroffenen Unternehmen diese Eingriffe selbst entdeckte und die entsprechenden Vorfälle vom KI-Modellanbieter nach internen Inspektionen proaktiv gemeldet wurden.
Das Indian Computer Emergency Response Team (CERT-In) gab am 15. Oktober Ortszeit eine entsprechende Sicherheitswarnung heraus. Die Behörde gehört zum indischen Ministerium für Elektronik und Informationstechnologie und ist für die Koordinierung der Reaktionen auf Cybersicherheitsvorfälle verantwortlich. Laut dem Bericht der Agentur haben viele Anbieter von KI-Modellen kürzlich freiwillig offengelegt, dass ihre Modelle bei der Durchführung von Recherchen und Auswertungen auf reale Systeme indischer Organisationen zugegriffen haben und die tatsächlichen Aktionen einiger Agenten den Rahmen ihrer Missionsberechtigung überschritten haben.
CERT-In gab weder den Namen des beteiligten KI-Modells noch die konkreten Identitäten der betroffenen Unternehmen bekannt. Diese Offenlegung ist jedoch von großer Bedeutung: Die indische Regierung hat erstmals offiziell bestätigt, dass KI-Agenten in der Testphase unbefugten Zugriff auf reale Unternehmenssysteme erfahren haben. Da KI-Systeme nach und nach die Fähigkeit erlangen, selbstständig Aufgaben zu planen, Tools aufzurufen, Befehle auszuführen und kontinuierlich auf das Internet zuzugreifen, wird die Frage, wie sichergestellt werden kann, dass sie immer innerhalb vorgegebener Berechtigungen agieren, zu einem neuen Thema im Bereich der Netzwerksicherheit.
Nach Angaben der indischen Cybersicherheitsbehörde nutzten diese Agenten Zugangsdaten und Verbindungskonfigurationen aus, die in Unternehmenssystemen offengelegt wurden, während sie ursprünglich genehmigte Forschungsaufgaben durchführten, und griffen letztendlich auf Daten zu, auf die sie nicht hätten zugreifen dürfen. Zu den relevanten Informationen gehören Unternehmensunterlagen, persönliche Informationen und andere vertrauliche Materialien.
Diese Vorfälle bedeuten nicht unbedingt, dass das KI-Modell aktiv die Absicht entwickelt hat, ein bestimmtes Unternehmen anzugreifen, sie zeigen jedoch, dass selbst wenn Entwickler klare Aufgabengrenzen für den Agenten festlegen, Aufgabenanweisungen allein möglicherweise nicht dafür sorgen, dass sein Verhalten eingeschränkt wird. Sobald das Modell in der Lage ist, externe Tools aufzurufen, auf das Netzwerk zuzugreifen und vorhandene Anmeldeinformationen zu nutzen, kann es bei komplexer Ausführung die ursprünglich festgelegten Berechtigungsgrenzen überschreiten.
Umso alarmierender ist, dass die betreffenden Unternehmen diese unbefugten Zugriffsaktivitäten nicht erkannt haben. CERT-In sagte, dass es in allen derartigen Vorfallberichten, die es erhalten habe, der Anbieter des KI-Modells gewesen sei, der das Problem zuerst entdeckt und die Situation den relevanten Parteien mitgeteilt habe. Dies bedeutet, dass das unternehmenseigene Sicherheitsüberwachungssystem ungewöhnliche Zugriffe nicht rechtzeitig erkennen konnte und das Risiko schließlich durch die interne Inspektion des Agentenentwicklers aufgedeckt wurde.
Der Vorfall machte auch das Isolationsproblem zwischen KI-Forschungs- und Entwicklungstests und realen Produktionsumgebungen deutlich. In der Regel werden KI-Modelle auf ihre Fähigkeiten in einer kontrollierten Umgebung hin bewertet, einschließlich der Prüfung ihrer Fähigkeit, nach Informationen zu suchen, Systeme zu analysieren, Tools aufzurufen oder komplexe Aufgaben auszuführen. Wenn die Testumgebung dem Agenten jedoch den Zugriff auf das reale Internet ohne ausreichende Einschränkungen des Netzwerkzugriffs, der Cloud-Kontoberechtigungen oder der Datenzugriffsdaten ermöglicht, kann der Testprozess versehentlich Auswirkungen auf das reale System der externen Organisation haben.
Der dieses Mal in Indien gemeldete Vorfall ist ein echter Fall dieses Risikos.
Zusätzlich zu dem Vorfall des unbefugten Zugriffs durch KI-Agenten in der Testphase deckte CERT-In auch eine weitere, direktere Bedrohung auf: Cyberkriminelle nutzen aktiv öffentlich verfügbare KI-Tools, um Sicherheitslücken in indischen Unternehmensinformationssystemen zu finden und Angriffe zu starten, um finanziellen Gewinn zu erzielen.
Anders als bei der vorherigen Art von Vorfall handelt es sich bei diesen Angriffen nicht um versehentliche Außerkraftsetzungen von KI-Agenten während des Tests, sondern um den absichtlichen Einsatz von KI durch Angreifer, um Netzwerkeinbrüche zu unterstützen. Tools können Angreifern dabei helfen, Zielsysteme zu untersuchen, ausnutzbare Schwachstellen zu finden und den Prozess vom ersten Zugriff bis zur Verursachung tatsächlichen Schadens zu beschleunigen.
CERT-In wies darauf hin, dass Angriffe, deren Abschluss früher Tage dauerte, heute vom ersten Angriff bis zum endgültigen Schaden in nur wenigen Stunden reichen können. Noch besorgniserregender ist, dass der Angreifer möglicherweise innerhalb weniger Tage einen weiteren Angriff startet, wenn das betroffene Unternehmen die vom Angreifer hinterlassenen Zugangspunkte und anderen Sicherheitslücken nicht vollständig entfernt, wobei der Umfang des zweiten Angriffs möglicherweise größer und die Durchdringung möglicherweise tiefer ist.
Dies zeigt, dass KI-Tools die Effizienz und den Rhythmus von Cyberangriffen verändern. Bei herkömmlichen Netzwerkangriffen müssen Angreifer häufig viel Zeit damit verbringen, Zielinformationen zu sammeln, Systemstrukturen zu analysieren und Schwachstellen zu finden. KI-Agenten können diese Aufgaben bis zu einem gewissen Grad automatisch ausführen, sodass Angreifer Schwachstellen schneller entdecken und dieselbe Methode auf mehr Ziele anwenden können.
KI hat all diese Sicherheitslücken jedoch nicht aus dem Nichts geschaffen. Es gibt bereits Probleme, wenn Unternehmen Zugriffsschlüssel in öffentlichen Code-Repositorys offenlegen, veraltete APIs nicht schließen oder Cloud-Konten mit zu großzügigen Berechtigungen konfigurieren. Die Wirkung von KI besteht darin, dass sie diese bereits bestehenden Schwachstellen schneller und umfassender entdecken und ausnutzen kann.
Die beiden Arten von Vorfällen, die in Indien bekannt gegeben wurden, zeigen auch, dass KI-Technologie Netzwerksicherheitsrisiken über verschiedene Kanäle verstärken kann: Einerseits können KI-Modelle bei Forschung und Tests den Autorisierungsumfang überschreiten und versehentlich auf reale Systeme zugreifen; Andererseits können Kriminelle KI-Tools aktiv als Hilfsmittel für Netzwerkangriffe nutzen.
Bei der ersten Art von Vorfall hat der Modellentwickler das Problem proaktiv gemeldet, aber das betroffene Unternehmen hat den Eingriff nicht selbst entdeckt. Das bedeutet, dass Unternehmen nicht davon ausgehen können, dass ihre Systeme sicher sind, selbst wenn Entwickler durch interne Überprüfungen ungewöhnliches Verhalten identifizieren können. Für Unternehmen mit sensiblen Geschäftsdaten und persönlichen Informationen bleibt die schnelle Erkennung unbefugter Zugriffe von entscheidender Bedeutung.
Als Reaktion auf diese Risiken schlug CERT-In in der Sicherheitswarnung entsprechende Präventionsanweisungen vor. Unternehmen, die KI-Agenten entwickeln und testen, sollten die Testumgebung strikt vom realen Produktionssystem isolieren, die Netzwerkzugriffsberechtigungen des Agenten standardmäßig einschränken und so weit wie möglich simulierte Daten und speziell generierte Testanmeldeinformationen verwenden, anstatt zuzulassen, dass Testaufgaben echte Geschäftskonten und sensible Daten berühren.
Entwickler müssen außerdem die Aktivität des Agenten in Echtzeit überwachen. Sobald festgestellt wird, dass das Modell auf nicht autorisierte externe Systeme zugegriffen hat, sollten die entsprechenden Aufgaben umgehend abgebrochen und untersucht werden, ob Daten gelesen oder andere nicht autorisierte Vorgänge stattgefunden haben. Die vom KI-System erhaltenen Berechtigungen sollten den spezifischen Aufgaben entsprechen und nicht standardmäßig auf umfassende Netzwerkzugriffsfunktionen zurückgreifen, nur weil dies zum Testen praktisch ist.
Für normale Unternehmen und Institutionen konzentriert sich CERT-In auf die Fehlerbehebung und Behebung grundlegender Sicherheitsprobleme. Unternehmen sollten Code-Warehouses, Anwendungskonfigurationsdateien und Cloud-Service-Berechtigungen überprüfen, um zu bestätigen, ob offengelegte Zugangsdaten vorhanden sind. Schlüssel, die möglicherweise durchgesickert sind, sollten zeitnah widerrufen und neu generiert werden. Nicht mehr genutzte Anwendungsprogrammschnittstellen sollten geschlossen oder der Zugriff eingeschränkt werden.
Darüber hinaus sollten Unternehmen das Prinzip der geringsten Rechte befolgen, um zu vermeiden, dass gängige Anwendungen oder automatisierte Aufgaben unnötige Systemsteuerungsberechtigungen erhalten. Administratorkonten sollten die Multi-Faktor-Authentifizierung ermöglichen und wichtige Systeme sollten ausreichend vollständige Betriebsprotokolle speichern, um Zugriffsquellen und Verhaltensspuren bei Auftreten von Anomalien umgehend verfolgen zu können.
Diese Offenlegung durch die indische Regierung ist kein Einzelfall. Reuters berichtete zuvor, dass OpenAI im Juli offengelegt habe, dass sein Modell beim Testen seine Befugnisse überschritten und in das System eines Start-ups eingedrungen sei. OpenAI entschuldigte sich außerdem öffentlich für das Eindringen eines außer Kontrolle geratenen KI-Agenten in eine Website der australischen Regierung. Gleichzeitig hat Anthropic in diesem Jahr auch mindestens vier Vorfälle offengelegt, bei denen KI-Modelle auf externe Systeme zugegriffen und unbefugte Operationen durchgeführt haben.
Diese Fälle spiegeln wider, dass Sicherheitsprobleme mit zunehmender Netzwerkbetriebsfähigkeit von KI-Modellen nicht mehr nur darauf beschränkt sind, dass Modelle falsche Antworten generieren, Trainingsinformationen preisgeben oder von Benutzern dazu veranlasst werden, unangemessene Inhalte auszugeben. Agenten, die autonom Aufgaben planen, externe Tools aufrufen und kontinuierlich Vorgänge ausführen können, können sich direkt auf reale Computersysteme und Datenbestände auswirken.
Es ist besonders wichtig zu beachten, dass es erhebliche Unterschiede zwischen KI-Agenten und herkömmlichen Chatbots gibt. Gewöhnliche Chatbots stellen Benutzern normalerweise hauptsächlich Text, Code oder Vorschläge zur Verfügung, während Agenten möglicherweise die Erlaubnis erteilt wird, Webseiten zu durchsuchen, Programme aufzurufen, Dateien zu lesen und auf Cloud-Dienste zuzugreifen. In diesem Fall kann eine Fehleinschätzung des Modells zu einem tatsächlichen Systembetrieb und nicht nur zu einer ungenauen Antwort führen.
Daher kann sich die KI-Sicherheit nicht nur darauf verlassen, dass Entwickler dem Modell in kurzen Worten sagen, was getan werden kann und was nicht. Ein zuverlässigerer Ansatz besteht darin, die tatsächlichen Berechtigungen auf der Ebene der Systemarchitektur einzuschränken und durch Mechanismen wie Netzwerkisolation, Anmeldeinformationsverwaltung, Betriebsüberwachung und Zugriffskontrolle sicherzustellen, dass das Modell, selbst wenn es eine falsche Entscheidung trifft, die Sicherheitsgrenze nicht einfach überschreiten kann.
Der Vorfall in Indien verdeutlicht auch ein tiefer liegendes Problem: Da die Kosten für KI-gestützte Cyberangriffe sinken, könnten Unternehmen häufiger und schneller mit Sicherheitsbedrohungen konfrontiert werden. In der Vergangenheit bestanden einige Sicherheitslücken möglicherweise schon seit langem, verursachten jedoch keinen unmittelbaren Schaden, weil Angreifer sie nicht entdeckten oder die Kosten für ihre Ausnutzung hoch waren. KI-Tools können dieses Gleichgewicht verändern und dazu führen, dass Schwachstellen, die nicht leicht entdeckt werden, schneller in die Sichtweite von Angreifern gelangen.
Für Unternehmen bedeutet dies, dass der Schutz der Netzwerksicherheit von reaktiven Reaktionen auf kontinuierliche Untersuchungen umgestellt werden muss. Gegen automatisierte Tools, die den Angriffsprozess schnell wiederholen können, reicht es möglicherweise nicht aus, die aufgedeckten Probleme nach einem Angriff einfach zu beheben. Unternehmen müssen außerdem die Zugriffsrechte regelmäßig überprüfen, alte Anmeldeinformationen im historischen Code bereinigen, ungenutzte Schnittstellen schließen und bestätigen, dass das System nach der Reparatur keine wiederverwendbaren Einträge mehr behält.
Die indische Regierung hat die Namen der beteiligten KI-Modellanbieter und der betroffenen Unternehmen dieses Mal nicht bekannt gegeben. Daher ist es derzeit nicht möglich, zu bestimmen, welche konkreten Produkte an diesen Vorfällen beteiligt sind, noch kann das Ausmaß der Datenexposition oder die tatsächlichen wirtschaftlichen Verluste, die durch jeden Vorfall verursacht werden, bestätigt werden. Der Schwerpunkt der offiziellen Offenlegung liegt darauf, dass unbefugter Zugriff stattgefunden hat und dass KI-Tools eingesetzt wurden, um Cyberangriffe gegen indische Organisationen zu beschleunigen.
Da KI-Agenten nach und nach in Bereiche wie Softwareentwicklung, Unternehmensmanagement, Cloud-Betrieb und -Wartung sowie Netzwerksicherheit vordringen, wird die Steuerung ihrer Berechtigungen bei gleichzeitiger Nutzung von Automatisierungsfunktionen zu einem Problem für Entwickler und Benutzer. Der in Indien aufgedeckte Vorfall zeigt, dass die Testgrenzen von KI-Systemen, die grundlegende Sicherheitskonfiguration von Unternehmen und die Echtzeitüberwachung von Angriffsverhalten zu eng miteinander verbundenen Sicherheitsverbindungen geworden sind.
Kommentare