Zusammenfassung:
Kürzlich hat der Entwickler Cactus Compute ein leichtes KI-Modell namens Needle 2 veröffentlicht.
Das Modell ist nur 14 MB groß und stark für die Prozessorumgebung des Raspberry Pi 5 optimiert. Es kann Anweisungen in natürlicher Sprache in Echtzeit in voreingestellte Funktionsaufrufe umwandeln, ohne dass eine Erweiterungskarte für die KI-Beschleunigung erforderlich ist.
Laut dem offiziellen Raspberry Pi-Blog handelt es sich bei Needle 2 nicht um einen herkömmlichen Allzweck-Chat-Roboter, sondern um ein dediziertes Modell, das sich auf die geräteseitige Befehlsausführung konzentriert. Wenn der Benutzer Eingaben macht, um das LED-Licht zum Leuchten zu bringen, benötigt das System nur 78 Millisekunden, um den gesamten Prozess von der Erkennung bis zur Ausführung abzuschließen und so eine nahezu sofortige Reaktion zu erzielen.
In Bezug auf Leistung und Ressourcenverbrauch zeigt Needle 2 ebenfalls extreme Effizienz. Bei der tatsächlichen Messung des Raspberry Pi 5 (8-GB-Speicherversion) beträgt der von diesem Modell im Betrieb belegte Speicher nur etwa 28 MB. Selbst wenn das vollständige Python-Demonstrationsprogramm ausgeführt wird, beträgt der Gesamtspeicherverbrauch nur 46,4 MB.
Dieses leichte Design ermöglicht eine vollständige Trennung des Modells von der Cloud-API und der Netzwerkumgebung und eine rein lokale intelligente Steuerung am Edge.
In Bezug auf Hardwarefunktionen und Schnittstellenaufrufe ist Needle 2 durch das Python-Annotationssystem eng an die zugrunde liegende Hardware gebunden. Entwickler müssen nur bestimmte Tags zum vorhandenen Funktionscode hinzufügen, und das Modell kann automatisch den Funktionsnamen, die Beschreibung und die Parametertypen erfassen und eine Aufrufspezifikation erstellen.
Zum Beispiel beträgt die Antwortzeit einer Anweisung zur Abfrage der Prozessortemperatur 149 Millisekunden und das System gibt den Celsius-Wert genau zurück. Der gesamte Prozess wird vollständig im lokalen Prozessor abgeschlossen.
Es ist jedoch zu beachten, dass das Modell in seiner logischen Beurteilung sehr zurückhaltend ist. Bei irrelevanten Fragen, die nicht mit der voreingestellten Funktion übereinstimmen können (z. B. „Wo ist die Hauptstadt von Frankreich?“), gibt Nadel 2 innerhalb von 92 Millisekunden einen Nullwert zurück, anstatt eine erzwungene Antwort zu erzwingen.
Derzeit wurden die Modellgewichte von Needle 2 auf der Hugging Face-Plattform veröffentlicht, und der entsprechende Code ist auch Open Source auf GitHub und folgt dem Apache 2.0-Protokoll.
Kommentare