Zusammenfassung:
Im KI-Kreis ereignete sich kürzlich eine dramatische Episode: Ein offizieller Ankündigungs-Tweet von DeepSeek ging, bevor alle Zeit hatten, die technischen Details sorgfältig zu studieren, aufgrund des Titeltexts zunächst aus dem Kreis.
Einige Internetnutzer entdeckten, dass auf dem Cover des öffentlich zugänglichen Artikels „DeepSeek Open Source Inference Framework: Towards a Truly Inclusive Future“ fälschlicherweise „Putt & Whitney“ als „HP“ eingegeben wurde, was zufällig mit der bekannten Computermarke Hewlett-Packard (HP) kollidierte.
Viele Internetnutzer scherzten darüber, dass DeepSeek unbeabsichtigt eine Welle von Traffic-Anzeigen kostenlos an HP sendete; Einige scherzten auch, dass HP-Führungskräfte die Gelegenheit nutzen würden, um über die Zusammenarbeit zu sprechen.
Dieser interessante Fehler wurde vom Beamten schnell entdeckt. Das Titelbild wurde dringend geändert und der Text wurde in „Auf dem Weg zu einer wirklich integrativen Zukunft“ wiederhergestellt. Der kleine Oolong endete erfolgreich.
Spaß beiseite, das Gewicht dieses Artikels selbst ist der eigentliche Schwerpunkt dieses Vorfalls. DeepSeek hat kürzlich offiziell einen Tweet veröffentlicht, in dem bekannt gegeben wird, dass sein internes Kern-Inferenz-Framework DeepInfer vollständig Open Source ist.
Entwickler, die mit dem Rhythmus von DeepSeek vertraut sind, wissen, dass dieses Team seine Bemühungen im Open-Source-Bereich weiter verstärkt und zuvor eine Reihe großer Modelle, TileLang-Kompilierungstoolketten und unterstützende Inferenzoperatorbibliotheken veröffentlicht hat.
Dieses Mal haben sie die zugrunde liegende Inferenz-Engine, die große Online-Dienste unterstützt, der Außenwelt direkt offengelegt und einen vollständigen, in der Produktionsumgebung ausgefeilten Bereitstellungsplan vorgelegt, was ihre Aufrichtigkeit zeigt.
Das offizielle Zitat „Tu es für das Gute und tu es für alle, tu es für Geschicklichkeit und tu es für alle“, um die ursprüngliche Absicht zu verdeutlichen.
To put it simply, if a large model is to be implemented, not only strong model parameters are enough, but the inference framework is the key to determining throughput, latency, and computing power bills.Many small and medium-sized teams and enterprises have obtained large open source models, but they are stuck in the deployment process: high concurrent requests cannot be handled, delays fluctuate greatly, computing power overhead remains high, and the cost of privatized deployment and public cloud launch has discouraged many players.
DeepInfer ist Open Source und zielt auf diesen Schwachpunkt ab.
DeepSeek hopes to share the large-scale inference optimization experience accumulated in internal practice with the entire community to help developers and enterprises optimize online service indicators, increase throughput, reduce response delays, and smoothly build privatized or public cloud AI services.
After the optimization is in place, computing power overhead and energy consumption will decrease simultaneously, and the threshold for using AI services will be lowered, allowing more industries and more users to use large model services with higher cost performance, and ultimately achieve the goal of "inclusive AI".
Kommentare