Zusammenfassung:
Apple entwickelt eine neue Anwendung namens Harbor, die darauf abzielt, mit Apple Silicon-Chips ausgestattete Mac-Computer in private KI-Inferenzserver zu verwandeln. Im Gegensatz zu herkömmlicher lokaler KI-Software kann Harbor nicht nur große Sprachmodelle auf einem einzelnen Mac ausführen, sondern auch mehrere Macs über die Thunderbolt 5-Schnittstelle verbinden und so den einheitlichen Speicher verschiedener Geräte in einen größeren Computerressourcenpool integrieren und so KI-Modelle ausführen, die ein einzelner Computer nicht unabhängig voneinander bewältigen kann.
Laut MacRumors-Bericht vom 10. November wird diese Anwendung derzeit von Claris, einer Apple-Tochtergesellschaft, getestet und wurde noch nicht offiziell für die Öffentlichkeit zugänglich gemacht. Das bekannteste Produkt von Claris ist die FileMaker-Datenbankplattform für Unternehmensanwender, sodass Harbor möglicherweise hauptsächlich auf Unternehmen, Entwickler und professionelle Benutzer ausgerichtet ist, die in Zukunft mit sensiblen Daten umgehen müssen.
Harbors Kernpositionierung besteht darin, Benutzern die Bereitstellung offener Modelle der künstlichen Intelligenz auf ihren Mac-Computern zu ermöglichen, ohne auf Cloud-Server angewiesen zu sein. Laut der aktuell veröffentlichten Produkteinführung können alle KI-Schlussfolgerungsprozesse auf lokaler Hardware durchgeführt werden und von Benutzern übermittelte Dokumente, Fragen und andere Daten müssen nicht in externe Cloud-Dienste hochgeladen werden.
Dies ist besonders für Unternehmensanwender wichtig. Viele Unternehmen möchten große Sprachmodelle verwenden, um interne Dokumente zu analysieren, Code zu schreiben oder Geschäftsinformationen zu verarbeiten, sind jedoch nicht bereit, Kundendaten, Finanzinformationen und Geschäftsgeheimnisse an externe KI-Dienstleister zu senden. Harbor versucht, den lokalen Bereitstellungsprozess zu vereinfachen, indem es Unternehmen ermöglicht, ihre eigene Mac-Hardware direkt zum Ausführen von KI-Modellen zu verwenden.
Das bemerkenswerteste Merkmal dieser Anwendung ist, dass sie über die Thunderbolt 5-Schnittstelle die Einrichtung eines Computerclusters aus mehreren Macs unterstützt.
Apple hat in macOS Tahoe 26.2 RDMA-Unterstützung (Remote Direct Memory Access) basierend auf Thunderbolt 5 hinzugefügt. Mit dieser Technologie können miteinander verbundene Macs mit geringem Kommunikationsaufwand auf Speicherressourcen anderer Geräte zugreifen und so die Voraussetzungen für verteilte KI-Inferenz schaffen.
Beispielsweise ist ein Mac mit 64 GB einheitlichem Speicher möglicherweise nicht in der Lage, bestimmte Sprachmodelle mit großen Parametergrößen unabhängig zu laden. Wenn jedoch mehrere Macs mit ausreichend Speicher angeschlossen sind, kann Harbor die Nutzung des Speichers und der Rechenleistung dieser Geräte koordinieren, um Modelle auszuführen, die andernfalls die Kapazität eines einzelnen Geräts überschreiten würden.
Diese Art der Speicherzusammenlegung bedeutet jedoch nicht, dass der Speicher mehrerer Macs zu einem Speicherplatz wird, der auf Hardwareebene vollständig dem einheitlichen Speicher des lokalen Computers entspricht. Der geräteübergreifende Zugriff erfordert weiterhin die Übertragung von Daten über die Thunderbolt-Schnittstelle, deren Latenz und Bandbreite sich von der einheitlichen Speicherarchitektur im Chip unterscheiden. Daher hängt die tatsächliche Leistung immer noch davon ab, wie das Modell auf verschiedene Geräte verteilt wird und wie das System Rechenaufgaben koordiniert.
Mehrrechner-Cluster können nicht nur größere Modelle ausführen, sondern auch die Fähigkeiten zur gleichzeitigen Verarbeitung erhöhen. Für Unternehmen, die KI-Dienste für mehrere Mitarbeiter gleichzeitig bereitstellen müssen, können mehrere Macs Inferenzanfragen gemeinsam nutzen, ohne sich vollständig auf eine einzige Workstation mit hoher Konfiguration verlassen zu müssen.
Harbor versucht auch, das seit langem bestehende komplexe Konfigurationsproblem bei der lokalen KI-Bereitstellung zu lösen.
Obwohl Benutzer Open-Weight-Modelle derzeit über Tools wie LM Studio und Ollama auf dem Mac ausführen können, müssen sie, wenn sie mehrere Computer zu einem Cluster verbinden möchten, normalerweise zusätzliche Software installieren, das Netzwerk konfigurieren, Modell-Sharding verwalten und Kommunikationsprobleme zwischen verschiedenen Geräten lösen.
Der offengelegten Funktionsbeschreibung zufolge kann Harbor über Thunderbolt 5 angeschlossene Mac-Geräte automatisch identifizieren und beim Aufbau eines Clusters helfen. Benutzer müssen lediglich das Gerät anschließen und die Anwendung starten, und das System führt automatisch die erforderliche Konfiguration durch. Es ist nicht erforderlich, die Befehlszeile zu verwenden oder über professionelle Erfahrung im Servermanagement zu verfügen.
Im Hinblick auf die Modellverwaltung bietet Harbor auch eine grafische Bedienoberfläche, die es Benutzern ermöglicht, offene Gewichtsmodelle direkt zu durchsuchen, herunterzuladen und zu laden. Die Anwendung übernimmt die Modelldateiverwaltung und die Ausführungskonfiguration, sodass sich Benutzer auf die eigentliche Arbeit konzentrieren können.
Dieses Design entspricht der Kombination der Benutzerfreundlichkeit von LM Studio mit den verteilten Argumentationsfunktionen mehrerer Maschinen. Für Benutzer, die mit komplexer KI-Infrastruktur nicht vertraut sind: Wenn das Endprodukt diese Funktionen erfüllen kann, wird die Schwelle für die lokale Bereitstellung großer Sprachmodelle erheblich gesenkt.
Harbor ist jedoch nicht das erste Projekt, das versucht, mehrere Macs zu verbinden, um KI-Modelle auszuführen. Zuvor ist ein Open-Source-Tool namens Exo aufgetaucht, das mehrere Geräte nutzen kann, um gemeinsam KI-Inferenzaufgaben durchzuführen. Der wichtigere Unterschied zwischen Harbor, das dieses Mal von Apple entwickelt wurde, könnte seine Integration mit den zugrunde liegenden Funktionen von macOS und die Bereitstellung eines einfacheren Bedienerlebnisses für normale Unternehmensbenutzer sein.
Derzeit befindet sich Harbor noch in der frühen Testphase. Zuvor erschien die App kurzzeitig im App Store, die entsprechende Seite wurde jedoch anschließend entfernt. Apple hat noch nicht offiziell bekannt gegeben, wann das Produkt erscheint oder ob es letztendlich kostenlos erhältlich sein wird.
Harbors Early-Access-Anwendungsseite erfordert einen Firmennamen, was weiter darauf hindeutet, dass Apple das Produkt möglicherweise zuerst für den Unternehmensmarkt einführt und nicht als allgemeines Tool, das alle Mac-Benutzer sofort herunterladen können.
Aus Hardware-Sicht kann diese Anwendung auch die Einsatzszenarien von Mac-Computern mit hoher Speicherkapazität weiter erweitern. Dank der Unified-Memory-Architektur von Apple können sich CPU und GPU denselben Speicherpool teilen. Wenn also große Sprachmodelle ausgeführt werden, sind Mac Studio und Mac mini, die mit großen Mengen an Unified-Memory ausgestattet sind, für einige Entwickler die erste Wahl für den Einsatz lokaler KI.
Wenn Harbor den bequemen gemeinsamen Betrieb mehrerer Macs ermöglicht, können Unternehmen schrittweise je nach Bedarf Geräte hinzufügen, ohne jedes Mal eine höher konfigurierte und teurere unabhängige Workstation kaufen zu müssen.
Es sollte jedoch beachtet werden, dass die Hauptfunktion, die Harbour derzeit offenlegt, die KI-Inferenz ist und nicht das vollständige Training großer Modelle. Bei der Inferenz geht es hauptsächlich darum, ein trainiertes Modell zu laden und Antworten zu generieren, während das Training viele zusätzliche Berechnungen, Gradientensynchronisierung und Parameteraktualisierungsvorgänge erfordert. Es gibt offensichtliche Unterschiede in den Anforderungen an Hardware und Kommunikationssysteme.
Diese Technologie bedeutet nicht, dass zwei beliebige Macs direkt einen leistungsstarken KI-Cluster bilden können. Laut bestehenden Produkteinführungen basiert die Multi-Machine-Memory-Pooling-Funktion auf Thunderbolt 5, sodass nur Macs, die mit kompatiblen Schnittstellen ausgestattet sind, diese Verbindungsmethode nutzen können. Für ältere Geräte, die Thunderbolt 5 nicht unterstützen, gibt es derzeit keine Hinweise darauf, dass Harbor die gleichen Clustering-Funktionen bietet.
Wenn Harbor endlich offiziell eingeführt wird, bedeutet dies, dass Apple beginnt, direkter am lokalen Markt für KI-Infrastruktursoftware zu partizipieren. In der Vergangenheit stellte Apple hauptsächlich über Apple Silicon-Chips und macOS Hardware- und Systemgrundlagen für KI-Entwicklungstools von Drittanbietern bereit; während Harbor es Apple ermöglichen könnte, ein komplettes Lösungspaket anzubieten, vom Herunterladen und Bereitstellen von Modellen bis hin zum Betrieb auf mehreren Maschinen.
Dieses Modell ist praktisch für Unternehmen, die KI in ihrem internen Netzwerk ausführen und verhindern möchten, dass sensible Daten lokale Geräte verlassen. Apple oder Claris müssen jedoch noch weitere Details darüber bekannt geben, welche Modelle Harbor letztendlich unterstützen kann, wie viele Macs einen Cluster bilden können, wie hoch die tatsächliche Inferenzleistung ist und ob ein Lademodell eingeführt wird.
Kommentare