圖片來源：知乎

KTransformers的原理大致為將參數(shù)較少、計(jì)算比較復(fù)雜的MLA注意力放在GPU上進(jìn)行計(jì)算，而參數(shù)大的、計(jì)算比較輕松的FNN（MOE）則放到CPU上去計(jì)算。

MoE結(jié)構(gòu)的模型具有很強(qiáng)的稀疏性，在執(zhí)行推理任務(wù)的時(shí)候，每次只會(huì)激活其中一部分的模型參數(shù)。因此，MoE架構(gòu)需要大量的存儲(chǔ)空間，但并不需要很多的計(jì)算資源。在這樣的情況下，同樣使用4bit量化，只需要一個(gè)4090 GPU就可以滿足這個(gè)參數(shù)需求。

此外，KTransformers團(tuán)隊(duì)還公布了v0.3預(yù)覽版的性能指標(biāo)，將通過整合英特爾的AMX指令集，CPU預(yù)填充速度最高至286 tokens/s，相比llama.cpp快了近28倍。對(duì)于需要處理上萬(wàn)級(jí)Token上下文的長(zhǎng)序列任務(wù)來說，相當(dāng)于能夠從“分鐘級(jí)等待”瞬間邁入“秒級(jí)響應(yīng)”，徹底釋放CPU的算力潛能。

用戶：成本相比A100/H100服務(wù)器可直降95%以上

KTransformers的更新發(fā)布后，不少開發(fā)者也紛紛在自己的設(shè)備上進(jìn)行測(cè)試。他們驚喜地發(fā)現(xiàn)，本地運(yùn)行完全沒有問題，顯存消耗甚至比github里的技術(shù)文檔中提到的還要少，實(shí)際內(nèi)存占用約380G，顯存占用約14G。

圖片來源：?jiǎn)袅▎袅?/p>

有B站up主實(shí)測(cè)發(fā)現(xiàn)，本地部署的速度可以達(dá)到約6-8 tokens/s，與硅基流動(dòng)免費(fèi)版速度差不多（但硅基流動(dòng)有上下文關(guān)聯(lián)數(shù)、輸出數(shù)限制等因素）。

還有用戶規(guī)劃出了這套方案的成本：

CPU：Gold 6454S 兩顆價(jià)格1w4左右（QS版）

主板：技嘉ms73 價(jià)格6500元以內(nèi)（雙路主板一共16個(gè)DDR5 RDIMM接口）

內(nèi)存：?jiǎn)胃?4G的RDIMM DDR5服務(wù)器內(nèi)存要1800元總共1T 需要3w元左右

顯卡：低檔4060Ti 16G，大概3999元。更加建議4090 24G，因?yàn)榭梢栽黾由舷挛拈L(zhǎng)度。

該用戶總結(jié)稱，整體成本7萬(wàn)元不到，相比于A100/H100服務(wù)器動(dòng)輒200萬(wàn)元的價(jià)格，便宜了95%以上。就算是租用服務(wù)器每小時(shí)也得花費(fèi)數(shù)千元。

當(dāng)然，這一本地方案還是有著諸多的限制，比如推理速度并不能和高價(jià)的服務(wù)器成本相提并論，并且只能給單人服務(wù)，而服務(wù)器可以同時(shí)滿足幾十個(gè)用戶的需求。目前整體方案也依賴于英特爾的AMX指令集，其他品牌的CPU暫時(shí)還無法進(jìn)行這些操作。并且這一方案主要是針對(duì)于DeepSeek的MOE模型，其他主流模型的運(yùn)行可能并不理想。

有用戶認(rèn)為，短期來看，KTransformers可能刺激消費(fèi)級(jí)顯卡（如4090）的需求，尤其是高顯存型號(hào)。但內(nèi)存漲價(jià)的可能性較低，因?yàn)槠浜诵膭?chuàng)新在于優(yōu)化顯存利用率，而非直接增加內(nèi)存消耗。但對(duì)于英偉達(dá)的影響并不會(huì)太大，因?yàn)檫@一技術(shù)歸根結(jié)底還是對(duì)于現(xiàn)有資源的優(yōu)化而非顛覆硬件需求。

免責(zé)聲明：本文內(nèi)容與數(shù)據(jù)僅供參考，不構(gòu)成投資建議，使用前請(qǐng)核實(shí)。據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。

每日經(jīng)濟(jì)新聞