Im Vergleich dazu erreicht die INT8-Leistung des Jetson Orin Nano-Chips von Nvidia 67 Teraflops, doppelt so viel wie INT4, verbraucht aber einen Leistungsbereich von 7 bis 25 Watt.
Hailo-10H wurde für Edge-Geräte in den Verbraucher-, Unternehmens- und Automobilmärkten entwickelt und kombiniert „hohe Effizienz, hohe Kosteneffizienz und ein robustes Software-Ökosystem“ und basiert auf seinem „ausgereiften und weit verbreiteten Software-Stack“, der von mehr als 10.000 Benutzern pro Monat verwendet wird, so das Startup.
Zu den Unternehmen, die Hailo-10H einführen, gehört Hewlett-Packard, das den Chip als Basis für die HP AI Accelerator M.2-Karte verwendet, die sich „nahtlos“ in HP Point-to-Point-Verkaufsdienste sowie HP Workstations und Business-PCs integrieren lässt.
Das Startup sagt, dass Hailo-10H fortgeschrittene Anwendungsfälle wie Mensch-Computer-Interaktion in natürlicher Sprache, visuelle Wahrnehmung und multimodale künstliche Intelligenz ermöglicht, um nahtlos innerhalb der für Edge-Umgebungen typischen Leistungs- und Kostenbeschränkungen zu funktionieren. "
Das Startup sagte, dass der Chip in von Hailo durchgeführten Leistungsbenchmarks „eine Latenz des ersten Tokens von weniger als 1 Sekunde und über 10 Token pro Sekunde über eine Vielzahl von sprachlichen und visuellen Sprachmodellen mit 2 Milliarden Parametern“ erreicht habe.Wortelement".
Hailo ist eines von mehreren KI-Chip-Startups, die NVIDIA herausfordern, und seine Partner reichen von OEMs wie HP, Dell und Advantech bis hin zu Distributoren wie J-Squared Technologies und Kaga Fei America.