In der KI-Ära, die oft Hunderte von GB Videospeicher und große Modelle mit Billionen von Parametern erfordert, hat ein Entwickler tatsächlich den 8-Bit-Z80-Prozessor, der 1976 auf den Markt kam, dazu gebracht, KI-Chatten zu lernen.Entwickler HarryR hat ein Projekt namens Z80-μLM erstellt, das erfolgreich Konversations-KI auf einem antiken Zilog Z80 mit nur 64 KB Speicher und ohne Gleitkomma-Rechenleistung ausführte und sogar ein Ratespiel mit 20 Fragen spielen konnte.
HarryR komprimiert die gesamte Inferenz-Engine, die Modellgewichte und die Chat-Interaktionsschnittstelle in eine Datei von nur etwa 40 KB und läuft perfekt auf alter Hardware mit nur 64 KB RAM.
Um diese unmögliche Aufgabe zu erfüllen, wird eine extrem harte Kernoptimierung eingesetzt. Er gab Gleitkommaoperationen auf und wechselte zu den nativen 16-Bit-Ganzzahloperationen des Z80.
Gleichzeitig wird auch die 2-Bit-Gewichtsvektorisierungstechnologie angewendet, um jedes Gewicht auf {-2, -1, 0, +1} zu komprimieren, und jedes Byte kann 4 Gewichte packen und speichern.
Das aktuelle Projekt liefert zwei Beispiele. Auf Begrüßungen und Fragen antwortet der Tinychat-Roboter im minimalistischen Stil. OK bedeutet beispielsweise neutrale Bestätigung, WARUM? Der Vertreter stellte die Prämisse in Frage, äußerte VIELLEICHT Unsicherheit usw.; Das andere Guess ist ein Ratespiel mit 20 Fragen, bei dem die KI ein Geheimnis für den Benutzer zur Entschlüsselung bereithält.
HarryR gab zu, dass dieses System den Turing-Test auf keinen Fall bestehen kann, aber sein Wert liegt in der Erforschung der unteren Grenze der KI. Die Entwickler haben bewusst mehrdeutige Antworten entworfen, um Menschen dazu zu zwingen, das wahre Verständnis der KI durch kontextbezogene Schlussfolgerungen oder Ja/Nein-Fragen zu erkennen.
