Meta veröffentlicht ein leistungsfähigeres Code Llama 70B-Modell, vergleichbar mit GitHub Copilot

Im August 2023 veröffentlichte Meta Company CodeLlama, ein umfangreiches Sprachmodell, das speziell für Programmieraufgaben entwickelt wurde und auf dem Vorgängermodell Llama2 basiert. Heute hat das Unternehmen eine „neue, leistungsstärkere Version“ veröffentlicht – CodeLlama70B.

CodeLlama70B wurde auf 500 Milliarden Bytes Code und zugehörigen Daten trainiert. Dank eines Kontextfensters von 100.000 Phrasen können längere Codesequenzen verarbeitet und generiert werden.

Laut Meta nutzt CodeLlama70B eine Technologie namens Selbstaufmerksamkeit, um die Codestruktur zu verstehen. Es kann Algorithmen, Sortier-, Such- und andere Funktionen basierend auf Text- oder Fragment-Eingabeaufforderungen implementieren und ist für mehrere Sprachen wie Python, C++, Javascript und Java geeignet.

Dieses KI-gestützte Tool umfasst Varianten, die auf bestimmte Aufgaben abgestimmt sind. Eine solche Variante ist CodeLlama-70B-Instruct, die darauf trainiert ist, Anweisungen in natürlicher Sprache zu verstehen. Es gibt auch eine Python-fokussierte Version namens CodeLlama-70B-Python. Laut Meta generiert es durch zusätzliches Training auf 100 Milliarden Python-Code-Tokens Python-Code mit „beispielloser Flüssigkeit und Genauigkeit“.

„Das Schreiben und Bearbeiten von Code ist heute zu einer der wichtigsten Anwendungen von Modellen der künstlichen Intelligenz geworden“, schrieb Mark Zuckerberg, CEO von Meta, in einem Facebook-Beitrag. „Es stellt sich heraus, dass die Programmierfähigkeit auch für KI-Modelle sehr wichtig ist, um Informationen in anderen Bereichen strenger und logischer zu verarbeiten.“

CodeLlama70B steht zum kostenlosen Download unter derselben offenen Lizenz wie frühere CodeLlama-Modelle zur Verfügung:

https://ai.meta.com/resources/models-and-libraries/llama-downloads/

Laut Meta erlaubt diese Lizenz akademischen und kommerziellen Benutzern, das Modell zu ändern.

GitHub, ein Unternehmen im Besitz von Microsoft, startete CopilotChat im Juli 2023. Entwickler können Copilot Fragen zu ihrem Code stellen, Erklärungen zu bestimmten Teilen des Codes erhalten und Copilot sogar Fehler im Code beheben lassen. Kürzlich hat Google auch DuetAI und GeminiPro auf den Markt gebracht, Tools zur Codevervollständigung und -generierung, die auf künstlicher Intelligenz basieren.