Microsoft hat möglicherweise mit OpenAI und seinem großen GPT-Sprachmodell zusammengearbeitet, um bei der Entwicklung generativer KI-Dienste wie Copilot (ehemals das Bing-Chat-Tool) zu helfen. Allerdings entwickelt das Unternehmen auch ein eigenes Sprachmodell. Diese Woche kündigte Microsoft Research die Veröffentlichung von Orca2 an, der zweiten Version seiner Orca-Sprache.
Microsoft sagte in einem Blogbeitrag, dass Orca2 für LM im kleinen Maßstab konzipiert sei, aber dennoch zur Beantwortung komplexer Fragestellungen wie LLM verwendet werden könne. Orca2 gibt es in zwei Größen (7 Milliarden und 13 Milliarden Parameter) und basiert teilweise auf Llama2LLM, dessen Einführung Microsoft Meta Anfang des Jahres unterstützt hat. Das Unternehmen hat das auf Llama2 basierende Modell „basierend auf maßgeschneiderten, hochwertigen synthetischen Daten“ verfeinert.
Laut Microsoft ist das Orca2-Modell dadurch bei der Lösung von Problemen mit anderen Sprachmodellen „fünf- bis zehnmal größer“ vergleichbar:
Orca2 wird mithilfe eines erweiterten, hochgradig angepassten synthetischen Datensatzes trainiert. Durch die Generierung dieser Trainingsdaten lernt Orca2 verschiedene Argumentationstechniken, wie z. B. schrittweise Verarbeitung, Rückruf und anschließende Generierung, Rückruf-Inferenz-Generierung, Extraktion-Generierung und direkte Antwort, und lehrt ihn außerdem, unterschiedliche Lösungsstrategien für verschiedene Aufgaben auszuwählen.
Das Orca2-Modell hat eine Reihe von Benchmark-Tests mit großen Sprachmodellen wie Llama2 und WizardLM durchgeführt. Zu den Testinhalten gehören „Sprachverständnis, gesundes Denken, mehrstufiges Denken, mathematische Problemlösung, Leseverständnis“ usw.
Im offiziellen Blog von Microsoft heißt es: Unsere vorläufigen Testergebnisse zeigen, dass die Leistung von Orca2 die von Modellen ähnlicher Größe deutlich übertrifft. Außerdem wurden Leistungsniveaus erreicht, die denen von mindestens zehnmal größeren Modellen ähneln oder diese übertreffen, was das Potenzial demonstriert, kleinere Modelle mit besseren Inferenzfähigkeiten auszustatten.
Obwohl Microsoft anerkennt, dass Orca2 Einschränkungen aufweist, zeigen die bisherigen Tests „das Potenzial für zukünftige Fortschritte“. Microsoft wird Orca2 als Open-Source-Projekt veröffentlichen, damit andere es entwickeln können.