AI引發(fā)本地部署熱潮。
隨著DeepSeek持續(xù)火爆出圈,人們開(kāi)始不滿足于網(wǎng)頁(yè)端和APP端上使用DeepSeek,而嘗試將DeepSeek進(jìn)行本地化部署。本地化部署是指將DeepSeek的AI大模型安裝到本地計(jì)算機(jī)內(nèi),不依賴網(wǎng)絡(luò)或云服務(wù)。記者搜索視頻網(wǎng)站發(fā)現(xiàn),不少用戶上傳了如何將DeepSeek部署到本地計(jì)算機(jī)的教程,不少視頻瀏覽量超過(guò)100萬(wàn)。
DeepSeek引發(fā)本地部署熱潮
教人部署DeepSeek也成為了一門生意。記者通過(guò)在電商平臺(tái)搜索“DeepSeek本地部署”發(fā)現(xiàn),不少店鋪開(kāi)辟了DeepSeek本地部署的生意,這些服務(wù)單價(jià)從幾元到幾十元不等,其中一些服務(wù)近期已有1000人購(gòu)買。
一位嘗試過(guò)部署的AI愛(ài)好者告訴記者,網(wǎng)絡(luò)端運(yùn)行響應(yīng)速度較慢,并且訪問(wèn)量過(guò)大時(shí)候,時(shí)常出現(xiàn)“服務(wù)器繁忙,請(qǐng)稍后再試?!睘榱双@得更好的使用體驗(yàn),他就嘗試采用DeepSeek進(jìn)行本地部署。據(jù)了解,本地部署不需要掌握深厚的編程知識(shí),通過(guò)教程按部就班,即可部署成功。
艾媒咨詢首席分析師張毅告訴記者:“本地部署支持個(gè)人根據(jù)需求,對(duì)DeepSeek進(jìn)行一些定制化修改,也是驅(qū)動(dòng)力之一?!睆堃阊a(bǔ)充道,本地部署中個(gè)人數(shù)據(jù)不上云,可滿足隱私需要。
DeepSeek發(fā)布了不同參數(shù)量的模型,小至10億參數(shù),大至6710億參數(shù),參數(shù)越大所需的計(jì)算資源就越大。由于個(gè)人電腦手機(jī)等設(shè)備的計(jì)算資源受限,6710億參數(shù)的DeepSeek模型往往無(wú)法本地部署。“普通筆記本電腦只能部署10億參數(shù)的版本,如果個(gè)人電腦配有好的GPU顯卡或較高內(nèi)存(比如32GB),那么可以跑70億參數(shù)版本的DeepSeek?!鄙鲜鯝I技術(shù)愛(ài)好者告訴記者。
從本地部署的效果而言,參數(shù)越小的版本,大模型的回答質(zhì)量越差。“我嘗試本地部署過(guò)70億參數(shù)版本的DeepSeek,運(yùn)行較流暢,但是回答質(zhì)量還比云端版本差很多,更小參數(shù)版本的效果會(huì)更差?!鄙鲜鯝I愛(ài)好者表示。
在DeepSeek本地部署的熱度下,專門在PC中添加了NPU的AI PC有望迎來(lái)銷量增長(zhǎng)。據(jù)了解,華為、聯(lián)想、戴爾等電腦品牌紛紛推出AI PC,這種新型PC搭載有專門處理本地部署AI大模型計(jì)算的處理器芯片,這些處理器芯片均由英特爾、AMD、高通等芯片廠提供。
這些AI PC可在本地部署并流暢運(yùn)行上百億參數(shù)的AI大模型,例如本次CES 2025年上,AMD就推出了Ryzen AI max系列處理器,稱可在電腦本地運(yùn)行700億參數(shù)AI大模型。不過(guò),配置有該處理器芯片的AI PC售價(jià)不菲,據(jù)了解,華碩某游戲本價(jià)格近1.5萬(wàn)元。另外,也有人質(zhì)疑,花大價(jià)錢買AI PC,進(jìn)行AI大模型的本地部署,實(shí)現(xiàn)功能卻和云端AI大模型高度重合,AI PC僅僅是廠商的噱頭而已。
企業(yè)嘗試本地部署DeepSeek
除了個(gè)人開(kāi)啟DeepSeek本地部署之外,企業(yè)也開(kāi)始躍躍欲試。蛇年工作日的第一天,蒂姆維澳創(chuàng)始人王加輝發(fā)布一條微信朋友圈:“DeepSeek大模型本地電腦部署體驗(yàn)成功,導(dǎo)入煤礦知識(shí)安全庫(kù)進(jìn)行問(wèn)答,下一步讓它結(jié)合工業(yè)現(xiàn)場(chǎng)作業(yè)?!?/p>
蒂姆維澳是一家提供工業(yè)管理解決方案的企業(yè),它面向采礦業(yè)、石油業(yè)等行業(yè),運(yùn)用AR眼鏡和AI軟件,為工業(yè)現(xiàn)場(chǎng)人員的維修、質(zhì)檢、故障排查,提供實(shí)時(shí)觀察和指導(dǎo)。王加輝告訴記者,此前僅采用通義千問(wèn)AI大模型打造了本地知識(shí)庫(kù)問(wèn)答,鑒于DeepSeek更好的推理能力,他正考慮將DeepSeek和業(yè)務(wù)深度融合。
“我們會(huì)在DeepSeek基礎(chǔ)上,根據(jù)特定工業(yè)場(chǎng)景的需求和數(shù)據(jù),對(duì)特定參數(shù)進(jìn)行微調(diào),或者進(jìn)行二次開(kāi)發(fā),以適配IT系統(tǒng)和實(shí)現(xiàn)新功能。”王加輝向記者表示:“我們目標(biāo)是將DeepSeek部署在本地,并和現(xiàn)場(chǎng)的相機(jī)進(jìn)行聯(lián)動(dòng),從而更好地識(shí)別現(xiàn)場(chǎng)的危險(xiǎn)作業(yè),并實(shí)現(xiàn)隱患排查和產(chǎn)品質(zhì)檢等功能。”
他認(rèn)為,工業(yè)客戶是否采用本地部署主要取決于數(shù)據(jù)的涉密性。“一些國(guó)企、軍工、醫(yī)療設(shè)備企業(yè)往往要求我們實(shí)施本地部署的方案,因?yàn)樗鼈儗?duì)于數(shù)據(jù)安全的要求較高。”他進(jìn)一步補(bǔ)充道:“非涉密場(chǎng)景可采用云端接入的方案,雖然會(huì)出現(xiàn)操作延時(shí),但是影響不大,并且方案價(jià)格更低。”
如果采用本地部署,這些客戶要求配置裝有4卡或8卡GPU的服務(wù)器,實(shí)現(xiàn)DeepSeek本地推理服務(wù)?!拔业目蛻羝毡檫x擇英偉達(dá)的消費(fèi)級(jí)顯卡來(lái)配置服務(wù)器,例如4090,性價(jià)比較高?!蓖跫虞x表示:“如果客戶有國(guó)產(chǎn)化配置要求,我們會(huì)采購(gòu)價(jià)格更高的國(guó)產(chǎn)GPU顯卡?!?/p>
除工業(yè)外,越來(lái)越多企業(yè)開(kāi)始本地部署DeepSeek。國(guó)金證券稱DeepSeek可應(yīng)用于信息檢索、文檔處理、行業(yè)研究、市場(chǎng)研判等場(chǎng)景。此外,醫(yī)療行業(yè)、網(wǎng)絡(luò)安全等行業(yè)內(nèi)的企業(yè)近期也在本地化部署DeepSeek,包括萬(wàn)達(dá)信息、奇虎360等。
張毅告訴記者,隨著企業(yè)對(duì)本地化部署要求擴(kuò)大,國(guó)產(chǎn)推理算力的需求量將增加,加上美國(guó)對(duì)高端芯片封禁,國(guó)產(chǎn)芯片算力企業(yè)將迎來(lái)較大機(jī)遇。
AI應(yīng)用將爆發(fā)
高通CEO克里斯蒂亞諾·安蒙(Cristiano Amon)稱,DeepSeek-R1是AI產(chǎn)業(yè)的轉(zhuǎn)折點(diǎn),AI推理將向端側(cè)遷移,AI將變得更小、更高效、更定制化,并且基于特定場(chǎng)景的AI大模型和AI應(yīng)用將出現(xiàn)。中航證券研報(bào)認(rèn)為,DeepSeek-R1說(shuō)明了端側(cè)AI部署將變得更加普惠,萬(wàn)物智能時(shí)代將加速到來(lái)。
開(kāi)源將吸引更多開(kāi)發(fā)者在DeepSeek基礎(chǔ)上構(gòu)筑應(yīng)用。華為昇騰、摩爾線程、壁仞科技、天數(shù)智芯等國(guó)產(chǎn)GPU卡已經(jīng)適配DeepSeek;騰訊云、阿里云、移動(dòng)云、華為云等云廠商也和DeepSeek完成適配。對(duì)國(guó)產(chǎn)算力的適配優(yōu)化,有望進(jìn)一步降低推理側(cè)的成本。
由于國(guó)內(nèi)應(yīng)用付費(fèi)的習(xí)慣尚未完全成熟,AI應(yīng)用的商業(yè)化可能受阻。國(guó)金計(jì)算機(jī)首席孟燦認(rèn)為,美國(guó)對(duì)應(yīng)用付費(fèi)有著10年,甚至20年基礎(chǔ),這對(duì)AI應(yīng)用的商業(yè)化有助益,而國(guó)內(nèi)由于尚無(wú)此基礎(chǔ),AI應(yīng)用落地及商業(yè)化的時(shí)間進(jìn)度會(huì)較慢。不過(guò),國(guó)內(nèi)正在不斷追趕,時(shí)間進(jìn)度有望縮短至半年以內(nèi)。
向DeepSeek提問(wèn)券商哪家強(qiáng),“只開(kāi)一個(gè)賬戶,選哪家券商”問(wèn)題最火,部署也忙壞各券商
DeepSeek引爆AI應(yīng)用!金融科技再度走強(qiáng),稅友股份沖擊漲停,金融科技ETF(159851)盤中漲近4%
部署DeepSeek 閱文集團(tuán)強(qiáng)勢(shì)拉升漲超12%
Deepseek引爆,比亞迪“天神之眼”添火,2025將是云計(jì)算投資大年?
DeepSeek風(fēng)暴卷進(jìn)公募機(jī)構(gòu) 會(huì)改寫行業(yè)格局嗎?近20家基金公司已完成或即將完成DeepSeek開(kāi)源模型私有化部署
DeepSeek引爆科技自信!算力、芯片需求或持續(xù)攀升,9只滯漲績(jī)優(yōu)潛力股上漲空間超10%
零跑汽車早盤漲超4% 宣布部署DeepSeek-R1的智能座艙即將上線
中方果然信錯(cuò)人了!關(guān)鍵時(shí)刻,日本突然變了“嘴臉”?瞬間引爆全球
還沒(méi)有評(píng)論,來(lái)說(shuō)兩句吧...