2月18日，DeepSeek在海外社交平臺發(fā)布了一篇純技術論文報告，論文主要內(nèi)容是關于NSA（Natively Sparse Attention，原生稀疏注意力）。

據(jù)介紹，NSA專為長文本訓練與推理設計，能利用動態(tài)分層稀疏策略等方法，通過針對現(xiàn)代硬件的優(yōu)化設計，顯著優(yōu)化傳統(tǒng)AI模型在訓練和推理過程中的表現(xiàn)，特別是提升長上下文的推理能力，在保證性能的同時提升了推理速度，并有效降低了預訓練成本。

在這篇名為《原生稀疏注意力：硬件對齊且可原生訓練的稀疏注意力機制》（Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention）的論文署名中，DeepSeek創(chuàng)始人兼CEO梁文鋒也作為共創(chuàng)在列。

其他研究人員來自DeepSeek、北大和華盛頓大學，其中第一作者Jingyang Yuan（袁景陽）是在DeepSeek實習期間完成的這項研究。

值得一提的是，今日中午12點（太平洋時間17日晚8點），馬斯克旗下AI公司xAI發(fā)布了Grok 3及其精簡版Grok 3 mini。發(fā)布會采用視頻直播形式，觀看人數(shù)超過100萬人。

Grok 3是xAI對OpenAI的o3-mini和DeepSeek的R1等模型的回應，它可以分析圖像和回答問題，并為X上的許多功能提供支持。此前馬斯克在X上造勢稱，Grok 3是“地球上最聰明的人工智能”。

在此次直播中，馬斯克透露，實際上，到訓練進行到92天時，集群的規(guī)模已經(jīng)擴大到了20萬塊GPU。

編輯|金冥羽杜波

校對|陳柯名

封面圖片來源：視覺中國

每日經(jīng)濟新聞綜合自券商中國、財聯(lián)社、公開資料等

每日經(jīng)濟新聞