Zusammenfassung:
Meta veröffentlichte am 15. Oktober das Open-Weight-Modell für künstliche Intelligenz Muse Spark Open und arbeitete mit Apple zusammen, um die lokale Lauflösung des Modells für Mac Studio zu optimieren.
Meta gab an, dass das Modell über insgesamt 816 Milliarden Parameter verfügt, von denen etwa 42 Milliarden tatsächlich für jede Inferenz aktiviert werden, ein Kontextfenster von bis zu 1 Million Token unterstützt und sich auf Programmierung, komplexe Argumentation und KI-Agentenaufgaben konzentriert. Mit zwei Mac Studio, die mit M5 Ultra-Chips und jeweils 512 GB einheitlichem Speicher ausgestattet sind, können Benutzer dieses Großmodell in einer Desktop-Umgebung ausführen, ohne vollständig auf Cloud-KI-Dienste angewiesen zu sein.
Diese Zusammenarbeit ist ziemlich auffällig. Apple und Meta hatten in der Vergangenheit erhebliche Unterschiede in den Datenschutzrichtlinien, Plattformregeln und Anwendungsökologie, doch dieses Mal förderten beide Parteien gemeinsam den Betrieb des Open-Weight-Modells auf Apple-Hardware. Mark Zuckerberg, CEO von Meta, dankte Apple-CEO John Ternus für die Teilnahme an der Zusammenarbeit. Ternus gab außerdem öffentlich bekannt, dass Muse Spark Open effizient auf Desktop-Geräten ausgeführt werden kann, was das Potenzial von Mac Studio im lokalen KI-Computing demonstriert.
Muse Spark Open ist die offen gewichtete Version der Meta Muse-Modellfamilie. Im Gegensatz zu geschlossenen Modellen, auf die nur über Remote-Dienste zugegriffen werden kann, ermöglichen offene Gewichtsmodelle Benutzern, Modellgewichte zu erhalten und diese vorbehaltlich der Lizenzbedingungen selbst bereitzustellen. Dies gibt Entwicklern, Forschern und Unternehmen eine bessere Kontrolle über die Betriebsumgebung und die Möglichkeit, ihre Inferenzprozesse an ihre Bedürfnisse anzupassen.
Das Modell verfügt über insgesamt 816 Milliarden Parameter, verwendet jedoch ein Design mit geringer Aktivierung, wobei für jede Inferenz nur etwa 42 Milliarden Parameter aktiviert werden. Mit anderen Worten: Das Modell muss bei der Verarbeitung jedes Tokens nicht alle Parameter in die Berechnung einbeziehen, sondern ruft den entsprechenden Teil entsprechend der Aufgabe und dem Eingabeinhalt auf. Dieses Design trägt dazu bei, den Umfang der Inferenzberechnungen zu reduzieren, bedeutet jedoch nicht, dass das Modell nur mit dem für 42 Milliarden Parameter erforderlichen Speicher ausgeführt werden kann, da die Gewichte des vollständigen Modells weiterhin gespeichert oder anderweitig verwaltet werden müssen.
Das Kontextfenster ist ein weiterer wichtiger Indikator dafür, dass Muse Spark geöffnet ist. Dieses Modell unterstützt 1 Million Token-Kontexte und kann theoretisch sehr lange Texte, Codebasen oder mehrere Dokumente in einer Aufgabe verarbeiten. Für Software-Engineering-Aufgaben bedeutet dies, dass Modelle die Möglichkeit haben, gleichzeitig auf große Mengen Quellcode und zugehörige Materialien zu verweisen, wodurch das Risiko verringert wird, dass wichtige Informationen aufgrund unzureichenden Kontexts fehlen. Die tatsächlich verfügbare Kontextlänge, Verarbeitungsgeschwindigkeit und der Speicherbedarf hängen jedoch immer noch von der spezifischen laufenden Konfiguration und dem Inferenz-Framework ab.
Meta sagte, dass Muse Spark Open für Mac Studio optimiert wurde und mit der einheitlichen Speicherarchitektur von Apple-Chips ausgeführt werden kann. Herkömmliche diskrete Grafiksysteme erfordern in der Regel die Platzierung von Modellgewichten im Videospeicher, während die einheitliche Speicherarchitektur von Apple es der CPU und der GPU ermöglicht, denselben Speicherpool zu nutzen. Auf Mac Studio, das Unified Memory mit großer Kapazität unterstützt, kann die GPU auf bis zu 512 GB Unified Memory zugreifen und bietet so eine Hardware-Grundlage für den Betrieb großer Open-Weight-Modelle.
Laut Meta können zwei Mac Studio das Modell über das entsprechende Software-Framework gemeinsam ausführen, sodass das System über etwa 1 TB einheitlichen Speicher verfügt. Der in jedem Gerät integrierte M5 Ultra-Chip verfügt über eine Speicherbandbreite von bis zu 1,2 TB/s. Meta geht davon aus, dass diese Konfiguration Muse Spark Open lokal ausführen und gleichzeitig den Sparse-Aktivierungsmechanismus nutzen kann, um nur einige der Parameter zu lesen, die für jede Token-Inferenz erforderlich sind.
Der Schlüssel zu dieser Lösung liegt nicht einfach darin, zwei Computer zu verbinden, sondern über eine einheitliche Speicherarchitektur, Modell-Sharding und Inferenz-Framework zusammenzuarbeiten, sodass Modelle, die ursprünglich eine größere Computerinfrastruktur erforderten, auf Desktop-Geräten ausgeführt werden können. Das MLX-Framework für maschinelles Lernen von Apple unterstützt die Modellausführung auf Apple Silicon, und Meta ist entsprechend für Muse Spark Open abgestimmt.
Es muss jedoch zwischen den beiden Konzepten unterschieden werden, dass das Modell laden und laufen kann und dass das Modell mit hoher Geschwindigkeit laufen kann. Genügend Speicher zu haben, löst nur ein großes Hindernis bei der Bereitstellung sehr großer Modelle. Modell-Sharding, geräteübergreifende Kommunikation, Speicherbandbreite, Auslastung der Recheneinheit und Kontextlänge wirken sich alle auf die endgültige Inferenzgeschwindigkeit aus. Die von Meta veröffentlichten Informationen betonen diesmal die Lauffähigkeit und Hardwarekonfiguration des Modells, liefern jedoch keine vollständigen Benchmark-Testdaten, die ausreichen, um die tatsächliche Leistung vollständig zu beurteilen.
Der Preis ist ebenfalls eine wichtige Einschränkung dieses Plans. Apple hat den mit 512 GB einheitlichem Speicher ausgestatteten Mac Studio, der voraussichtlich Ende Oktober erhältlich sein wird, noch nicht offiziell vorgestellt. Bestehende High-End-Mac-Studio-Modelle mit 256 GB einheitlichem Speicher kosten bereits über 10.000 US-Dollar, sodass ein System, das aus zwei 512-GB-Versionen besteht, voraussichtlich eine teure Investition darstellt. Für normale Einzelanwender handelt es sich hierbei offensichtlich nicht um eine kostengünstige lokale KI-Lösung, aber für Entwicklungsteams und Forschungseinrichtungen, die große Modelle ausführen und Wert auf Datenkontrolle legen müssen, stellt sie eine Alternative zu herkömmlichen Servern dar.
Meta gab an, dass Muse Spark Open nicht nur auf Mac Studio ausgeführt werden kann, sondern auch über mehrere Cloud-KI-Plattformen aufgerufen werden kann, darunter Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter und Together AI. Für Benutzer, die die Modellgewichte selbst herunterladen möchten, können relevante Dateien über Amazon SageMaker AI, Google Cloud Model Garden, Hugging Face und Microsoft Foundry Models bezogen werden.
Dieses Modell verwendet eine Lizenz, die eine begrenzte kommerzielle Nutzung erlaubt, und nicht eine allgemeine Open-Source-Lizenz ohne Einschränkungen. Daher müssen Entwickler und Unternehmen vor der Verwendung in kommerziellen Produkten die spezifischen Lizenzbedingungen sorgfältig lesen und bestätigen, ob ihre Bereitstellungsmethode, Benutzerskala und Anwendungsszenarien den Anforderungen entsprechen.
Diese Zusammenarbeit spiegelt auch die sich abzeichnende neue Entwicklungsrichtung des lokalen KI-Computings wider. In der Vergangenheit erforderte der Betrieb großer Modelle mit Hunderten von Milliarden Parametern in der Regel mehrere professionelle GPUs, große Mengen an Videospeicher und komplexe Servercluster. Apple versucht, eine einheitliche Speicherarchitektur und Chips mit hoher Bandbreite zu verwenden, um High-End-Desktop-Computern die Aufnahme größerer Modelle zu ermöglichen. Obwohl dieser Ansatz hinsichtlich der Kosten und der Inferenzleistung immer noch begrenzt ist, eröffnet er neue Möglichkeiten für Benutzer, die nicht alle ihre Daten in die Cloud senden möchten.
Für Apple trägt Muse Spark Open auch dazu bei, die Positionierung von Mac Studio im Bereich der KI-Entwicklung zu demonstrieren. Da immer mehr Entwickler versuchen, Modelle lokal auszuführen, sind einheitliche Speicherkapazität und Bandbreite nach und nach zu wichtigen Indikatoren für die Messung der KI-Fähigkeiten von High-End-Computern geworden. Apple hofft, dass der Mac durch das M5 Ultra- und MLX-Ökosystem nicht nur für Videobearbeitung, 3D-Design und Musikproduktion geeignet ist, sondern auch zu einer lokalen KI-Entwicklungs- und Argumentationsplattform wird.
Für Meta wird die Veröffentlichung eines Open-Weight-Modells und die Unterstützung der Ausführung auf Apple-Hardware dazu beitragen, die Entwicklerabdeckung der Muse-Serie zu erweitern. Benutzer können je nach Bedarf zwischen Cloud-API oder lokaler Bereitstellung wählen, und Meta kann auch mehr Entwickler dazu bewegen, Anwendungen und Tools rund um das Modell zu entwickeln.
Insgesamt liegt die Bedeutung von Muse Spark Open nicht nur in der Anzahl von 816 Milliarden Parametern, sondern auch darin, dass es die Möglichkeit demonstriert, großformatige Open-Weight-Modelle mit High-End-Desktop-Hardware zu kombinieren. Zwei Mac Studio mit 512 GB einheitlichem Speicher können etwa 1 TB Speicherplatz für das Modell bereitstellen, sodass es für die lokale Ausführung geeignet ist. Das tatsächliche Erlebnis hängt jedoch immer noch von der Inferenzgeschwindigkeit, den Hardwarekosten und der Softwareoptimierung ab.
Diese Zusammenarbeit reicht nicht aus, um zu beweisen, dass normale Personalcomputer problemlos sehr große Modelle ausführen können, sie zeigt jedoch, dass sich lokale KI-Hardware in Richtung höherer Speicherkapazität und stärkerer kollaborativer Rechenfähigkeiten entwickelt. Da Modellarchitektur und Inferenzsoftware weiter optimiert werden, könnten einige KI-Modelle, die in der Vergangenheit nur in großen Rechenzentren eingesetzt werden konnten, in Zukunft nach und nach Einzug in Studios, Labore und Entwickler-Desktop-Umgebungen halten.
Kommentare