Zusammenfassung:
Jacob Coxon gab auf X seinen Rücktritt von Anthropic bekannt. Er sagte, dass er sich in den letzten drei Jahren mit der Pre-Training-Forschung bei OpenAI und Anthropic beschäftigt habe, aber der Meinung sei, dass keines der beiden Unternehmen die KI-Entwicklung auf verantwortungsvolle Weise vorantreibe. Stattdessen gehen sie „direkt zur sich selbst verbessernden Superintelligenz über“ und gefährden die menschliche Sicherheit.
Coxon sagte, dass die KI-Systeme, die derzeit in diesen geschlossenen Labors gebaut werden, bald über „übermenschliche“ Fähigkeiten verfügen und in der Lage sein werden, Hacking-Angriffe durchzuführen, das Muster eines bestimmten Feldes über Nacht zu ändern und in der realen Welt an Macht und Ressourcen zu gewinnen. Er wies darauf hin, dass der relevante Forschungsfortschritt weiterhin in verschiedene Richtungen voranschreitet und keine offensichtlichen Anzeichen einer Verlangsamung erkennbar sei.
Er erwähnte auch, dass die Außenwelt nach den öffentlichen Äußerungen von OpenAI-CEO Sam Altman und Anthropic-CEO Dario Amodei denken könnte, dass beide Unternehmen die Entwicklung von KI vorsichtig vorantreiben, er glaubt jedoch, dass dies nicht der Fall ist. Coxon behauptet, dass diese Praktiker insgeheim glauben, dass KI „uns alle bis zum Ende des Jahrhunderts töten könnte“, und dass dies kein Marketinggerede sei; Er sagte auch, dass Führungskräfte wie Altman und Amodei ihre Rhetorik gegenüber den Medien anpassen würden, um zurückhaltender zu wirken, aber insgeheim seien sie tatsächlich zutiefst besorgt über das, was geschaffen wird.
Seiner Meinung nach sind auch die internen Kulturen von OpenAI und Anthropic unterschiedlich. Coxon sagte, dass viele Mitarbeiter bei OpenAI sich „der damit verbundenen zivilisatorischen Risiken nicht zutiefst bewusst sind“; Bei Anthropic seien die relevanten Risiken „jedem sehr klar“, aber das Unternehmen befinde sich immer noch im Wettlauf, der erste zu sein, der AGI entwickelt. Coxon sagte, Anthropic sei davon überzeugt, dass das Unternehmen zuerst das Rennen gewinnen müsse, da andere möglicherweise nicht verantwortungsbewusst handeln.
Coxon ist der Ansicht, dass in diesem Zusammenhang viele wichtige Entscheidungen in Privatunternehmen nicht nur in Slack getroffen werden sollten. Er ist hinsichtlich einer verstärkten Koordinierung zwischen US-amerikanischen KI-Laboren nach den jüngsten Ereignissen vorsichtig optimistisch, glaubt jedoch, dass eine solche Zusammenarbeit wirkungslos sein wird, sobald sie auf Labore außerhalb der Vereinigten Staaten ausgeweitet wird. Zu diesem Zweck schlug er vor, ein vorübergehendes Verbot von Modellkapazitätsverbesserungen in Betracht zu ziehen.
Am Ende des Beitrags forderte Jacob Coxon andere Laborforscher auf, ernsthaft über die nächsten fünf Jahre nachzudenken, nicht um weiterhin Problemen aus dem Weg zu gehen, sondern um die KI-Entwicklung in andere Richtungen voranzutreiben.
Kommentare