DeepSeek kündigt NSA für ultraschnelles Long-Context-Training und Inferenz an. Demnach handelt es sich bei NSA um einen hardwarekonsistenten und nativ trainierbaren Sparse-Attention-Mechanismus für ultraschnelles Long-Context-Training und Inferenz.
Mit einem optimierten Design für moderne Hardware beschleunigt NSA die Inferenz und reduziert gleichzeitig die Kosten vor dem Training, ohne die Leistung zu beeinträchtigen.
Es erreicht oder übertrifft Modelle mit vollständiger Aufmerksamkeit bei allgemeinen Benchmarks, Aufgaben mit langem Kontext und anweisungsbasiertem Denken.
Verantwortlicher Redakteur: Liu Mingliang