Moore Threads gab heute offiziell bekannt, dassDie Enthüllungszeremonie von Moore Threads erster landesweit produzierter 1.000-Kamma- und 100-Milliarden-Modell-Trainingsplattform, dem KUAE Intelligent Computing Center von Moore Thread, wurde erfolgreich abgehalten.Das bedeutet dieser Schritt auchDer erste große Computercluster des Landes, der auf im Inland hergestellten GPUs mit vollem Funktionsumfang basiert, wurde offiziell gestartet.
Zhang Jianzhong, CEO von Moore Thread, sagte, dass Moore Thread eine Produktlinie für intelligente Computer entwickelt habe, die von Chips über Grafikkarten bis hin zu Clustern reicht. Durch die Nutzung der vielfältigen Rechenvorteile voll ausgestatteter GPUs kann es den wachsenden Bedarf an Training und Inferenz großer Modelle decken.
Berichten zufolge basiert die intelligente Rechenzentrumslösung Moore Thread KUAE auf einer voll ausgestatteten GPU.Ziel ist es, die Konstruktions- und Betriebsmanagementprobleme großer GPU-Rechenleistung durch integrierte Bereitstellung zu lösen.
Diese Lösung kann sofort verwendet werden, wodurch die Zeitkosten für den herkömmlichen Aufbau von Rechenleistung, die Anwendungsentwicklung sowie den Aufbau von Betriebs- und Wartungsplattformen erheblich reduziert werden und eine schnelle Markteinführung für den kommerziellen Betrieb erreicht wird.
Derzeit unterstützt Moore Thread das Training und die Feinabstimmung verschiedener großer Mainstream-Modelle, darunter LLaMA, GLM, Aquila, Baichuan, GPT, Bloom, Yuyan usw.
Basierend auf dem Moore-Thread-KUAE-Kilocal-Cluster,Beim Training großer Modelle mit Parametern von 70B bis 130B kann das lineare Beschleunigungsverhältnis 91 % erreichen.Der Auslastungsgrad der Rechenleistung bleibt grundsätzlich unverändert.
Nehmen wir als Beispiel die Menge von 200 Milliarden Trainingsdaten:Der 70-Milliarden-Parameter Aquila2 des Zhiyuan Research Institute kann das Training in 33 Tagen abschließen; Ein Modell mit 130 Milliarden Parametern kann das Training in 56 Tagen abschließen.