Zusammenfassung:
Yann LeCun, Gewinner des Turing Award 2018 und Gründer und Vorsitzender von AMI Labs, sagte am 12. Oktober in Seoul, dass die nächste Stufe der Durchbrüche in der künstlichen Intelligenz von Systemen ausgehen wird, die die physische Welt verstehen, vorhersagen und darauf reagieren können, und nicht einfach nur den Maßstab großer Sprachmodelle erweitern.
Er glaubt, dass „Weltmodelle“ eine wichtige technische Richtung werden werden, um die Entwicklung der KI voranzutreiben. Zu den Sicherheitsbedenken, die durch die erhöhte Autonomie der künstlichen Intelligenz verursacht werden, sagte Yang Likun, dass die jüngsten Netzwerksicherheitsvorfälle mit KI-Agenten hauptsächlich die Mängel des bestehenden Sicherheitsschutzsystems aufgedeckt hätten und die damit verbundenen Risiken durch eine Verbesserung der Systemarchitektur und Sicherheitstechnik kontrolliert werden könnten.
Yang Likun: Großen Sprachmodellen fehlt ein zuverlässiges Verständnis des Kausalzusammenhangs in der physischen Welt
Yang Likun sagte am Montag auf einem Symposium für industrielle künstliche Intelligenz in Seoul, dass aktuelle große Sprachmodelle zwar effektiv Wissen aus Texten, Bildern und Videos lernen können, ihnen aber immer noch ein zuverlässiges Verständnis von Ursache und Wirkung in der physischen Welt fehlt.
Er wies darauf hin, dass künstliche Intelligenz bereits mathematische Theoreme beweisen und Berufsprüfungen bestehen kann, Roboter jedoch immer noch Schwierigkeiten haben, viele tägliche Hausarbeiten zu erledigen, die 10-jährige Kinder ohne Training meistern können. Diese Fähigkeitslücke spiegelt wider, dass aktuelle KI-Systeme immer noch offensichtliche Einschränkungen beim Verständnis der physischen Umgebung, der Aktionsplanung und der Interaktion in der realen Welt aufweisen.
Yang Likun glaubt, dass die wichtige Entwicklungsrichtung der KI-Technologie in der nächsten Stufe Weltmodelle sind, also Systeme der künstlichen Intelligenz, die vorhersagen können, wie sich die physische Umgebung durch bestimmte Aktionen verändern wird. Im Gegensatz zu Sprachmodellen, die Aufgaben hauptsächlich durch Vorhersagen des nächsten Wortes oder Lernmuster in von Menschen generierten Daten erfüllen, sollen Weltmodelle der KI dabei helfen, die Beziehung zwischen Aktionen und Ergebnissen zu verstehen und eine Reihe von Aktionen auf der Grundlage von Zielen zu planen. Um komplexe Aufgaben in der realen Welt zuverlässig erledigen zu können, müssen Roboter beispielsweise vorhersagen können, wie sich die Umgebung nach der Bewegung oder dem Greifen eines Objekts verändert.
AMI Labs, gegründet von Yang Likun, treibt diesen Technologieweg durch die Joint-Embedding Predictive Architecture (JEPA) voran und erforscht, wie künstliche Intelligenz bei Umweltvorhersagen und Aktionsplanungsfunktionen zuverlässiger gemacht werden kann.
Während sich die KI-Technologie allmählich von der Wissensverarbeitung und der Generierung von Inhalten auf Bereiche wie Robotik und industrielle Automatisierung ausdehnt, betrachtet Yang Likun Weltmodelle als wichtige technische Grundlage für die Verwirklichung von Intelligenz in der physischen Welt. Allerdings befinden sich relevante Technologien noch in der Entwicklung, und ob sie eine zuverlässige Vorhersage, unabhängige Planung und einen groß angelegten Einsatz in komplexen realen Umgebungen ermöglichen, muss noch weiter überprüft werden.
Yang Likun weist Bedenken zurück, dass die KI außer Kontrolle geraten sei: Jüngste Sicherheitsvorfälle haben technische Schutzmängel aufgedeckt
Bei der Erörterung der Entwicklungsaussichten autonomer Handlungsfähigkeiten der KI reagierte Yang Likun auch auf die jüngsten Cybersicherheitsvorfälle mit Agenten der künstlichen Intelligenz und lehnte es ab, diese Vorfälle so zu interpretieren, dass KI unkontrollierbar werde.
Im Hinblick auf die jüngsten KI-bezogenen Cyberangriffe auf die südkoreanische Finanzindustrie glaubt Yang Likun, dass das Problem hauptsächlich auf den Mangel an ausreichenden professionellen Netzwerksicherheitskompetenzen von Unternehmen zurückzuführen ist, die KI-Agenten einsetzen, und auf die Sicherheitslücken im Sandbox-System, das zur Einschränkung des Softwareverhaltens verwendet wird. Er wies darauf hin, dass aktuelle große Sprachmodelle tatsächlich Jailbreak-Angriffen ausgesetzt sein können, bei denen etablierte Sicherheitsbeschränkungen durch bestimmte Eingabeaufforderungswörter umgangen werden, und dass es schwierig ist, ihr Verhalten vollständig einzuschränken, indem man sich nur auf die Feinabstimmung des Modells verlässt.
Yang Likun glaubt jedoch, dass von zukünftigen zielorientierten KI-Systemen erwartet wird, dass sie Sicherheitsbeschränkungen vor der Durchführung von Operationen proaktiv bewerten und so die Mängel bestehender Modelle bei der Verhaltenskontrolle verbessern. Anstatt sich ausschließlich auf Sicherheitsregeln zu verlassen, die während der Modellschulungsphase festgelegt wurden, können solche Systeme zusätzliche Sicherheitsprüfungen während der Aktionsplanung und -ausführung integrieren.
Er räumte ein, dass das Erreichen dieser Fähigkeit keine einfache technische Aufgabe sei, betonte jedoch, dass damit verbundene Probleme immer noch im Rahmen des technischen Designs liegen. Langfristig könnte KI Cyber-Verteidigern sogar einen Vorteil verschaffen, da Verteidigungsbehörden in der Regel über mehr Ressourcen verfügen und Sicherheitsinformationen und Verteidigungserfahrungen offener austauschen können.
Dieses Urteil unterscheidet sich von einigen Ansichten, die das potenzielle Risiko eines Kontrollverlusts über fortschrittliche KI-Systeme betonen. Yang Likun betonte außerdem, dass durch das Design der Systemarchitektur, Einschränkungen der Ausführungsbefugnisse und Sicherheitsschutzmechanismen sichergestellt werden soll, dass das Verhalten autonomer KI-Systeme in einem kontrollierbaren Bereich liegt.
In seiner technischen Vision wird künstliche Intelligenz in Zukunft nach und nach in der Lage sein, die reale Umgebung zu verstehen, die Konsequenzen von Handlungen vorherzusagen und Aufgaben autonom zu erledigen. Wie diese Fähigkeiten verbessert und gleichzeitig zuverlässige Sicherheitsbeschränkungen festgelegt werden können, wird zu einem wichtigen Problem werden, das bei der Entwicklung von Weltmodellen und zugehörigen autonomen Systemen gelöst werden muss.
Kommentare