此前，中國工程院院士、清華大學(xué)計算機系教授鄭緯民在與新浪科技溝通中曾提及：“DeepSeek自研的MLA架構(gòu)為其自身的模型訓(xùn)練成本下降，起到了關(guān)鍵作用?！彼赋?，“MLA通過改造注意力算子壓縮了KV Cache大小，實現(xiàn)了在同樣容量下可以存儲更多的KV Cache，該架構(gòu)和DeepSeek-V3模型中FFN 層的改造相配合，實現(xiàn)了一個非常大的稀疏MoE 層，成為DeepSeek訓(xùn)練成本低最關(guān)鍵的原因?！?/p>

此次DeepSeek直接開放MLA解碼核——FlashMLA，意味著DeepSeek將最為核心的MLA底層代碼直接免費開放，這讓廣大開發(fā)群體可以直接復(fù)用FlashMLA代碼庫實現(xiàn)用更少的GPU服務(wù)器完成同樣的任務(wù)，直接降低推理成本，這對于更多希望基于DeepSeek開源能力進(jìn)行底層優(yōu)化和AI應(yīng)用開發(fā)群體而言，無疑是一大福利。

有意思的是，DeepSeek此次開放的MLA解碼核，主要是針對Hopper GPU進(jìn)行優(yōu)化用途的。通常而言，Hopper GPU是指基于英偉達(dá)Hopper架構(gòu)研發(fā)的H系列GPU產(chǎn)品。目前，英偉達(dá)該系列芯片已經(jīng)發(fā)布H100、H800和H20等多款芯片。

據(jù)DeepSeek方面介紹，在基準(zhǔn)測試性能表現(xiàn)上，F(xiàn)lashMLA在英偉達(dá)H800 SXM5 GPU上可實現(xiàn)3000 GB/s 的內(nèi)存速度以及580TFLOPS的計算上限。

公開資料顯示，根據(jù)美國出口管制規(guī)定，H800的帶寬上限被設(shè)定為600 GB/s，相比一些旗艦產(chǎn)品有所降低。這意味著，使用FlashMLA優(yōu)化后，H800的內(nèi)存帶寬利用率有望進(jìn)一步提高甚至突破H800 GPU理論上限，在內(nèi)存訪問上達(dá)到極致，能讓開發(fā)群體充分“壓榨”英偉達(dá)H系列芯片能力，以更少的芯片實現(xiàn)更強的模型性能，最大化GPU價值。

有專注于AI硬件研究并投資的投資人在查看FlashMLA后表示，“FlashMLA是能讓LLM在H800跑得更快、更高效的優(yōu)化方案，尤其適用于高性能AI任務(wù)，他的核心是加速大語言模型的解碼過程，提高模型的響應(yīng)速度和吞吐量，這對于實時生成任務(wù)（如聊chatbot等）非常重要，對于大模型的能力和使用體驗是巨大的促進(jìn)，速度會明顯提升?！?/p>

雖然FlashMLA是一個針對Hopper GPU的優(yōu)化代碼庫，但對于國產(chǎn)GPU而言，此次開源也有利好。上述投資人在查看FlashMLA后表示，對于國產(chǎn)GPU而言，此次開源算是重大利好?！按饲暗膰a(chǎn)GPU卡，很弱。那現(xiàn)在可以通過FlashMLA提供的優(yōu)化思路和方法論，嘗試讓國產(chǎn)卡大幅提升性能，即使架構(gòu)不同，后面國產(chǎn)卡的推理性能提升將是順理成章的事兒”。

來源：新浪網(wǎng)

【免責(zé)聲明】本文僅代表作者本人觀點，與和訊網(wǎng)無關(guān)。和訊網(wǎng)站對文中陳述、觀點判斷保持中立，不對所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考，并請自行承擔(dān)全部責(zé)任。郵箱：[email protected]