In einer aktuellen Folge des Joe Rogan Podcasts erinnerte Jensen Huang, CEO von NVIDIA, an den entscheidenden Wendepunkt hinsichtlich der Ursprünge von Deep Learning und dem Schicksal des Unternehmens:Der Durchbruch des Deep Learning begann im Jahr 2012 und basierte auf der SLI-Dual-Card-Verbindungskonfiguration zweier GTX 580-Grafikkarten, die nicht für KI konzipiert waren.
Huang Renxun enthüllte, dass das Kernstück des Deep Learning der heutigen KI und die Hardware, die für den ersten Betrieb ihres Basisnetzwerks verwendet wird, die High-End-Gaming-Grafikkarte GTX 580 auf Basis der Fermi-Architektur und mit 512 CUDA-Kernen ist.
Obwohl diese Grafikkarte ursprünglich für Spiele auf höchstem Niveau entwickelt wurde, sind ihre leistungsstarken parallelen Rechenfunktionen unbeabsichtigt zum Grundstein für schnelles Deep-Learning-Training geworden.
Im Jahr 2012 verwendeten die Forscher Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton von der University of Toronto ein Paar GTX 580-Grafikkarten mit 3 GB, um das berühmte AlexNet-Modell zu trainieren.
Dieses Deep-Learning-Netzwerk mit rund 60 Millionen Parametern stach im ImageNet-Bilderkennungswettbewerb in diesem Jahr mit einem erstaunlichen Vorsprung von 70 % gegenüber dem damals manuell entwickelten Algorithmus hervor.
Huang Renxun wies darauf hin, dass die Entwickler von AlexNet den Algorithmus so optimiert haben, dass er parallel auf zwei GTX 580 läuft und Daten nur bei Bedarf austauscht, was die Trainingszeit erheblich verkürzt. Damit war die GTX 580 auch die weltweit erste Grafikkarte, die Deep-Learning-/Machine-Learning-KI-Netzwerke ausführte.
Als dieser Meilenstein erreicht wurde, waren die Investitionen von NVIDIA im Bereich KI interessanterweise minimal und der Großteil der Forschung und Entwicklung konzentrierte sich immer noch auf 3D-Grafiken und Spiele.
Es war die erfolgreiche Anwendung von AlexNet auf der GTX 580, die NVIDIA das enorme Potenzial von Deep Learning erkennen ließ. Huang Renxun sagte, dass das Unternehmen seine Finanzierungs-, Entwicklungs- und Forschungsbemühungen im Jahr 2012 sofort auf Deep-Learning-Technologie verlagert habe.
Diese Transformation führte schließlich im Jahr 2016 zum ursprünglichen NVIDIA DGX-Supercomputer, der Volta-Architektur mit dem Tensor-Kern der ersten Generation und der anschließenden DLSS-Technologie.
