Gerade wurde das Modell von MistralAI aktualisiert. Diese Open Source kam so „plötzlich“ wie eh und je und wurde bei einer Hackathon-Veranstaltung namens CerebralValley angekündigt. Sobald die PPT-Seite umgeblättert war, hoben alle im Publikum ihre Mobiltelefone, um Fotos zu machen:
Das Open-Source-Modell Mistral7Bv0.2BaseModel ist dieses Mal das ursprüngliche vorab trainierte Modell hinter Mistral-7B-Instruct-v0.2, das zur „MistralTiny“-Reihe des Unternehmens gehört.
Dieses Update umfasst hauptsächlich drei Aspekte:
Erwähnter 8K-Kontext zu 32K;
RopeTheta=1e6;
Schiebefenster abbrechen.
Download-Link: https://models.mistralcdn.com/mistral-7b-v0-2/mistral-7B-v0.2.tar…
Der Leistungsvergleich nach dem Update sieht wie folgt aus:
Das Publikum außerhalb des Veranstaltungsortes folgte schnell diesem Beispiel. Jemand kommentierte: „Mistral7B ist bereits das beste Modell seiner Größenklasse, und diese Verbesserung ist eine enorme Verbesserung. Ich werde viele der aktuellen Feinabstimmungen an diesem Modell so schnell wie möglich nachtrainieren.“
Das erste 7B-Modell von MistralAI wurde im September 2023 veröffentlicht. Es erzielte in mehreren Benchmark-Tests bessere Ergebnisse als Llama213B und machte MistralAI sofort berühmt.
Dies hat auch dazu geführt, dass viele große Open-Source-Modelle kein Benchmarking mehr für Llama2 durchführen, sondern stattdessen verschiedene Modellreihen unter MistralAI als direkte Konkurrenten nutzen.
Die auf Anweisungen abgestimmte Version Mistral-7B-Instruct-v0.2, die Mistral7Bv0.2BaseModel entspricht, wurde im Dezember 2023 zum Testen geöffnet. Laut dem offiziellen Blog ist dieses Modell nur auf Englisch anwendbar und kann auf MT-Bench eine Punktzahl von 7,6 erreichen, was schlechter als GPT-3.5 ist.
Nachdem dieses Mal das Basismodell geöffnet ist, können Entwickler dieses „derzeit beste 7B-Modell“ nach ihren eigenen Bedürfnissen verfeinern.
Allerdings kann das 7B-Modell nur als eine der vielen erstaunlichen Errungenschaften von MistralAI angesehen werden. Das langfristige Ziel des Unternehmens ist es, OpenAI zu bewerten.
Ende letzten Monats veröffentlichte MistralAI offiziell das große „Flaggschiff“-Modell MistralLarge. Anders als die vorherige Modellreihe verfügt diese Version über eine stärkere Leistung und eine größere Größe und übertrifft damit direkt den GPT-4 von OpenAI. Mit der Einführung von MistralLarge führte MistralAI einen Chat-Assistenten namens LeChat ein, der auch ein Benchmarking mit ChatGPT erreichte.
Mit der Veröffentlichung des neuen Modells geht auch eine Änderung der allgemeinen Ausrichtung des Unternehmens einher. Die Leute haben herausgefunden, dass MistralLarge kein großes Open-Source-Modell ist – es verfügt über Laufscores, APIs und Anwendungen, aber nicht wie üblich über GitHub oder Download-Links.
Zeitgleich mit der Veröffentlichung von MistralLarge hat MistralAI eine langfristige Kooperationsvereinbarung mit Microsoft geschlossen. Es wird nicht nur MistralLarge in Azure einführen, sondern auch eine Investition von 16 Millionen US-Dollar von Microsoft erhalten.
MistralAI teilte Reuters mit, dass Microsoft im Rahmen des Deals eine Minderheitsbeteiligung an dem Unternehmen übernehmen würde, ohne Einzelheiten preiszugeben. Zukünftig wird sich die Zusammenarbeit der beiden vor allem auf drei Kernbereiche konzentrieren:
Supercomputing-Infrastruktur: Microsoft wird MistralAI durch die AzureAI-Supercomputing-Infrastruktur unterstützen, um erstklassige Leistung und Skalierbarkeit für KI-Training und Inferenz-Workloads des Flaggschiffmodells von MistralAI bereitzustellen;
Marketing: Microsoft und MistralAI werden den Kunden die erweiterten Modelle von MistralAI über Models as a Service (MaaS) in Azure AI Studio und den Azure Machine Learning Model Catalog zur Verfügung stellen. Neben OpenAI-Modellen bietet der Modellkatalog eine Vielzahl von Open-Source- und kommerziellen Modellen.
Forschung und Entwicklung im Bereich künstliche Intelligenz: Microsoft und MistralAI werden eine Zusammenarbeit prüfen, um spezifische Zweckmodelle für bestimmte Kunden zu trainieren.
Auf die Frage, ob das Unternehmen sein Open-Source-Geschäftsmodell ändere, sagte Arthur Mensch, Mitbegründer von MistralAI, in einem Interview: „Wir haben mit einem Open-Source-Modell begonnen, bei dem jeder es kostenlos einsetzen konnte, weil das eine Möglichkeit war, sie weit zu verbreiten und Nachfrage zu schaffen. Aber wir boten von Anfang an ein Geschäftsmodell mit optimierten Modellen an, das es dem Unternehmen ermöglichte, die teure Forschung zu finanzieren, die für die Entwicklung der Modelle erforderlich war.“
Referenzlink: https://twitter.com/MistralAILabs/status/1771670765521281370
Die erste China Embodied Intelligence Conference (CEAI2024) findet vom 30. bis 31. März 2024 im MGM West Bund Hotel in Xuhui, Shanghai, statt.
Gastgeber dieser Konferenz ist die China Association for Artificial Intelligence (CAAI), gemeinsam organisiert vom CAAI Embodied Intelligence Committee (vorbereitend), der Tongji-Universität, dem Institut für Computertechnologie der Chinesischen Akademie der Wissenschaften, der Shanghai Jiao Tong University und dem China Economic Information Service Shanghai Headquarters, gemeinsam organisiert von der Global University Artificial Intelligence Academic Alliance und der exklusiven KI-Medienkooperation von Heart of the Machine.
Die Veranstaltung wird eine Top-Plattform für den Austausch und die Zusammenarbeit zwischen Wissenschaft und Industrie im Bereich der verkörperten Intelligenz schaffen, um den akademischen Austausch und Austausch sowie die industrielle Zusammenarbeit und Interaktion umfassend zu fördern, die gemeinsame Entwicklung von Industrie, Wissenschaft und Forschung zu fördern und das Forschungs- und Anwendungsniveau der Technologie der verkörperten Intelligenz in meinem Land zu verbessern.