Ultraman: Die Installation von Speicher auf dem PC ist zu verschwenderisch und sollte am besten dem KI-Rechenzentrum überlassen werden

Zusammenfassung:

„Aus Sicht der globalen Ressourcenallokation ist es eine ‚ziemlich schreckliche‘ Regelung, jedem den knappen DRAM in seinen eigenen Computern speichern zu lassen und ihn die meiste Zeit ungenutzt zu lassen. Der Speicher sollte in Cloud-Rechenzentren konzentriert werden.“

Das ist alles.

In einem Interview mit dem YouTube-Kanal Cheeky Pint am Donnerstag trank OpenAI-CEO Sam Altman die ganze Zeit Bier und sprach in entspannter Atmosphäre über die lokale Argumentation großer KI-Modelle und das erweiterte Problem des unzureichenden Speichers in Heimcomputern, das versehentlich zum Hit wurde.

Wir wissen, dass der aktuelle Anstieg der Speicherpreise durch die globale KI-Welle die Preise für PCs und Mobiltelefone in die Höhe schnellen lässt, was für einzelne Verbraucher bereits unerschwinglich ist. Gleichzeitig wird es eine Weile dauern, bis die großen Speicherhersteller ihre Produktionskapazitäten erweitern. Während hochmoderne KI-Unternehmen den Großteil des Speichers verbrauchen, haben sie begonnen zu diskutieren, ob der Speicher in Personalcomputern vollständig ausgenutzt ist.

Altman erwähnte eine Hypothese, dass Menschen in der Lage wären, lokale künstliche Intelligenz auf ihren eigenen Computern auszuführen, bei denen es sich möglicherweise um Computer handelt, die sie bereits besitzen oder die sie aufgrund des Aufstiegs der KI-Großmodelltechnologie zusammenbauen möchten. Er hielt es für eine schreckliche Idee.

„Aus Sicht der globalen Ressourcenallokation ist es eigentlich sehr schlecht, wenn jeder den weltweit begrenzten DRAM-Speicher in seinen eigenen Computern ungenutzt lassen und nur eine Nutzungsrate von 5 % haben soll“,

Das Hauptgeschäft von OpenAI basiert heute auf einem Closed-Source-Modell, das in großen Rechenzentren läuft, und seine Verteidigung seines Geschäftsmodells hat in der KI-Community eine Debatte ausgelöst.

Das hat auch vielen Menschen Sorgen bereitet: In Zukunft könnte es für uns schwieriger werden, eigene Hard- oder Software zu besitzen, und wir kommen nur noch in Betracht, intelligente Agenten und Computer in der Cloud zu mieten.

Obwohl gewöhnliche PCs, Mobiltelefone und KI-Beschleunigerkarten unterschiedliche Speicher verwenden, wird ihre Produktion um einige vorgelagerte Wafer-Produktionskapazitäten konkurrieren. Altman diskutierte die globale DRAM-Ressourcenzuweisung. Wenn es darum geht, wer darüber entscheiden darf, wo Speicherkapazität eingesetzt wird, ist es naturgemäß meist der Anwender, der den größeren Auftrag erteilt.

Ein Teil von Altmans Argumentation basiert auf der Annahme, dass sich der Bau von Rechenzentren nicht verlangsamen wird. Darüber hinaus stellte er die Hypothese auf, dass Speicher, der rund um die Uhr in einem KI-Rechenzentrum genutzt wird, wertvoller wäre als Speicher, der für Tabellenkalkulationen, Webbrowsing, Spiele und sogar gelegentliche lokale KI verwendet wird.

Tatsächlich war dieses Interview sehr lang. Altman sprach auch über die PHP-Sicherheitslücke, die in den letzten zwei Wochen weltweite Panik auslöste, das Sandboxing von Trainingsmodellen und die KI-Forschung im Bereich der Mathematik.

Schauen Sie sich an, was er hauptsächlich gesagt hat:

KI löst eine Welle von Schwachstellen aus

In Bezug auf die enormen Schwachstellen von PHP lautet Altmans Urteil: Die Fähigkeit großer Modelle, Schwachstellen zu entdecken, verbessert sich weiterhin rapide und die Codeoberfläche im Internet ist extrem groß. Wenn Menschen anfangen, KI systematisch zum Scannen aller Codes einzusetzen, „werden wir uns in einer Welt wiederfinden, in der die gravierenden Schwachstellen weitaus größer sind als erwartet.“ Er glaubt, dass Patches allein nicht ausreichen, die Architektur muss neu aufgebaut werden und Router, Betriebssysteme und Anwendungsschichten müssen für eine Welt neu gestaltet werden, in der „Schwachstellen immer intelligenter werden“. Vor zwei Jahren schien es ein verrücktes Gerede zu sein, „den gesamten Technologie-Stack neu zu schreiben“, aber jetzt gibt es Startups, die einen neuen Stack aufbauen wollen.

Er äußerte eine branchenweit seltene Selbstkritik: „Ich glaube nicht, dass wir es gut geschafft haben, den Menschen zu erklären, warum sich all die potenziellen Nachteile dieser Technologie lohnen.“ Er sagte, das Narrativ der KI-Industrie sei ein schlechtes Verkaufsargument, das verspreche, Krebs zu heilen und Kosten zu senken, während es gleichzeitig eine Zukunft voller Arbeitslosigkeit, Kontrollverlust und der Notwendigkeit einer strengen Regulierung darstelle. Er bekräftigte das Beharren von OpenAI auf einer iterativen Bereitstellung und einem Kapazitätsüberhang mit der Begründung, dass „Menschen auf ein paar Quadratmeilen in San Francisco nicht alle Entscheidungen treffen können“.

Auf die Frage, ob er ein „Hochsicherheitsgefängnis“ für das Modell bauen könne, gab Ultraman eine pessimistische Antwort: Die Sandbox ist nur bis zu einem gewissen Grad effektiv, und die Überwachung (einschließlich Überprüfung der Denkkette und Aktivierungsüberwachung) kann noch weiter gehen, aber am Ende muss sie sehr vertrauenswürdig und ausgerichtet sein.

Er fragte rhetorisch, angesichts eines Modells, das millionenfach intelligenter ist als der klügste Sicherheitsforscher und neue wissenschaftliche Erkenntnisse entdecken kann, die Menschen noch nicht verstehen: Trauen Sie sich wirklich, dieser Sandbox zu vertrauen?

Er machte deutlich, dass er das Wort „Agentenschwärme“ hasst, weil Schwärme an Heuschrecken erinnern, und bestand darauf, sie Agententeams (Agententeams) zu nennen, und glaubt, dass die Art der gegenseitigen Kontrollen und Abwägungen zwischen Teams dem Mechanismus zur Erzielung von Robustheit durch Pluralismus entspricht und eine sichere Richtung darstellt, die es wert ist, vorangetrieben zu werden.

Intellektuelle Explosion und der Preis wissenschaftlicher Entdeckungen

Altman skizzierte eine Kurve: In der GPT-4-Ära war es schwierig, effektiv 1 US-Dollar in Rechenleistung für ein einzelnes Problem zu investieren; Die Gedankenkette ermöglicht es dem Modell, „stark nachzudenken“, aber jetzt können wir das gesamte Agententeam Zehntausende Male parallelisieren. Die Nutzungslücke zwischen normalen Benutzern und den fortgeschrittensten Benutzern wird immer größer.

In Bezug auf die Zuteilung der Rechenleistung innerhalb von OpenAI sagte er, dass die Mitarbeiter viele Freiheiten genießen, ein hoher Token-Verbrauch jedoch nie belohnt wird. „Eigentlich ist es ein bisschen peinlich, in der Token-Rangliste weit oben zu stehen, und es ist sicherlich kein Grund für eine Beförderung.“ Als Beispiel verwendete er den Beweis der Navier-Stokes-Gleichung: Ein einzelner Beweis kostete etwa 10 Millionen Dollar und war „eine Woche lang außer Kontrolle“, weil zu diesem Zeitpunkt niemand etwas über das Expansionsgesetz des Agententeams wusste. Aber er geht davon aus, dass es innerhalb eines Jahres mit intelligenteren Modellen und Methoden zu einem Hundertstel der Kosten erneuert werden kann.

Er zeigte auch seltene Emotionen: Die Situation damals war wirklich erstaunlich. Am Wochenende, als intern ein neues Modell auf den Markt kam, warfen alle die schwierigsten Probleme diesem Modell zu, und es konnte sie nach und nach lösen. Die Leute haben überhaupt nicht damit gerechnet, dass das Modell das tun würde. Jeder war Zeuge, dass dieses Modell die schwierigsten wissenschaftlichen Forschungsprobleme in der akademischen Laufbahn vieler Menschen nach und nach löste und viele verschiedene Bereiche abdeckte. Die Szene war einfach unglaublich.

„Ich blieb zwei Nächte lang fast die ganze Nacht wach, weil ich vor Aufregung überhaupt nicht schlafen konnte. Viele der Ergebnisse, die wir später veröffentlichten, waren tatsächlich die Probleme, die wir damals gelöst hatten.“

Ultraman war damals äußerst aufgeregt und glücklich, gleichzeitig verspürte er aber auch eine unerwartete Traurigkeit, Melancholie und das Gefühl, dass „eine Ära zu Ende geht“. Es ist nicht nur Nostalgie, sondern auch eine Art Empathie für menschliche Wissenschaftler, die „morgens die Wahrheit erfahren und abends sterben“. Er besteht darauf, dass Menschen Grundwissen verdienen, die Industrie jedoch den Praktikern in diesen Bereichen eine Lösung schuldet.

Obwohl es noch zu früh ist, über Superintelligenz zu sprechen, glaubt Ultraman, dass Billionen kleiner Übermenschen besser sind als eine Billion IQ:

„Mir wäre es viel lieber, wenn intuitiv eine Billion KIs mit leicht übermenschlicher Intelligenz der Gesellschaft beitreten würden, als dass eine KI mit einer Billion IQ der Gesellschaft beitreten würde.“

„Intuitiv hätte ich lieber eine Billion KIs mit leicht übermenschlicher Intelligenz in die Gesellschaft aufgenommen als eine Billion KIs mit IQ.“

Sein Argument ist, dass die starke Robustheit einer Gesellschaft auf der gegenseitigen Kontrolle und der Zusammenarbeit einer großen Anzahl von Mitgliedern beruht. Die „Single-Brain“-Welt verfügt nicht über diese Art von Widerstandsfähigkeit. Er betonte jedoch, dass dies nicht automatisch geschehen werde und proaktiv gefördert werden müsse.

Marktregulierung wird im KI-Zeitalter nicht mehr funktionieren?

In Bezug auf den globalen Speichermangel stellte Altman das Layout von OpenAI vor: selbst entwickelte Chips (zur Verbesserung der intelligenten Leistung pro Watt), selbst gebaute Rechenzentren, Roboterprojekte und ein mutigeres Konzept von „selbstreplizierenden Rechenzentren“, die KI-gesteuerte Roboter verwenden, um Waferfabriken zu betreiben, Turbinen und Solarmodule zu bauen und Rechenzentren zu bauen. „Wir haben das unter Kontrolle“, sagte er.

Als er darüber spricht, warum die „Selbstregulierung des Marktes“ seit langem nicht verwirklicht wurde, hält er die aktuellen Fortschritte für sehr schlecht und nennt die Verhaltenslogik der Speicherhersteller: Diese Branche sei seit langem ein erbittertes Geschäft, in dem 20 Milliarden US-Dollar investiert und 1,9 Milliarden Investitionsausgaben erwirtschaftet würden. In der Geschichte sind viele Giganten aufgrund des übermäßigen Baus von Fabriken fast bankrott gegangen. Heute kann jedes Unternehmen etwa 100 Milliarden US-Dollar an freiem Cashflow pro Jahr erwirtschaften, aber die schmerzhaften Erinnerungen haben dazu geführt, dass sie bei der Ausweitung der Produktion äußerst konservativ sind. Daraus geht er hervor, dass „die unsichtbare Hand jetzt außer Gefecht gesetzt ist“.

Er unterschied zwei Arten von Fähigkeiten in der Chipindustrie: Lithographie „scheint nur ein Unternehmen auf dem Planeten zu wissen, wie man das macht“, aber Chipdesign (die Datei, die letztendlich an die Fabrik geschickt wird) ist bereits ein ausgezeichneter Ort für KI.

Altman sprach über den wahren Grad der rekursiven Selbstverbesserung (RSI) und sagte, dass das aktuelle Modell Aufgaben wie „Finden einer Verbesserung der Recheneffizienz um 5 %“ erledigen könne, aber niemand wisse, wie man KI neue Architekturen auf der Ebene des Transformators entdecken lassen könne. Was fehlt, ist ein intelligenteres Modell. Er sagte sogar voraus, dass sich die Gesellschaft möglicherweise darauf einigen müsse, den IQ eines einzelnen Modells für einen bestimmten Zeitraum zu begrenzen. „Wenn es in Zukunft keinen ausreichenden Fortschritt gibt, liegt das an dieser Entscheidung und nicht an der Fähigkeit der KI, Forschung zu betreiben.“

Er zeigte seinen Glauben an die Deflation:

Die aktuellen fünfjährigen Gesamtbetriebskosten für jedes GW führender KI-Rechenleistung belaufen sich auf etwa 70 Milliarden US-Dollar. Ideal wäre es, wenn es auf 20 Milliarden reduziert werden könnte. Gleichzeitig muss die Modellleistung jedes Jahr um das Zehnfache verbessert werden. Der Weg, dies zu erreichen, besteht darin, Energie billiger zu machen und die zwischen „vom Sand zu Output-Token“ gestapelten Bruttogewinne zu komprimieren.

Was die symbolische Budgetangst der Unternehmen angeht, glaubt er, dass das derzeit häufigere Problem darin besteht, dass KI nicht ausreichend genutzt wird, sondern darin, dass sie zu viel nutzt.

Wie bewertet man persönliche Intelligenz?

In Bezug auf die jüngsten beliebten persönlichen intelligenten Produkte (wie Muse) urteilt Ultraman derzeit, dass „der Macintosh-Moment noch nicht gekommen ist.“ Die Leute mögen diese Produkte, aber nicht so sehr, dass sie sich ein Leben ohne sie nicht mehr vorstellen können. Der Gewinner wird wie das aktuelle Produkt aussehen, aber „einfach funktionieren“, zuverlässig und in der Lage sein, komplexere Aufgaben zu bewältigen. Er glaubt, dass das Katz-und-Maus-Spiel der Computernutzung irgendwann so weit konvergieren wird, dass „Sie das Recht haben, die KI Ihren eigenen Computer in Ihrem Namen bedienen zu lassen“.

Was die Kommerzialisierungsmethode intelligenter Agenten angeht, glaubt Altman, dass Unternehmen in ihren Produkten an KI-Popups und HTML festhalten und befürchten, Kundenbeziehungen zu verlieren, aber Verbraucher möchten, dass KI in ihrer Haupt-Chat-Anwendung alles für sie erledigt. Er glaubt, dass die wahren Gräben von Marken-, Auswahl- und Fulfillment-Netzwerken ausgehen und nicht von HTML. Er gab proaktiv bekannt, dass er sich in 10 von 10 Fällen für Amazon Pay entscheiden würde, selbst wenn der Preis höher wäre. Er lobte das Fulfillment-Netzwerk von Amazon und räumte ein, dass die Kooperationsplattform innerhalb von ChatGPT nicht gut genug sei. Außerdem bezeichnete er alle Webformulare als „Fake-Arbeit“ und verglich die aktuelle Situation mit der App-Store-Ära.

Genau aus diesem Grund hat OpenAI bei der Preisgestaltung fast die aufgabenbasierte Preisgestaltung von AWS nachgeahmt und die Token-Abrechnung komplett aufgegeben. Allerdings stieß es auf starken Widerstand der Kunden: „Ich muss wissen, wofür ich bezahle.“ Auch wenn es mehr ist, muss es in verständlichen Einheiten wie Token vorliegen.