小模型“反卷”大模型?適用才是真王道!
隨著“千模大戰(zhàn)”接近尾聲,由大模型掀起的算力競(jìng)賽也逐漸進(jìn)入“下半場(chǎng)”,由“建算力”過渡到“用算力”上。
2024-09-19 10:08:15
來源:通信世界全媒體 包建羽??

通信世界網(wǎng)消息(CWW)隨著“千模大戰(zhàn)”接近尾聲,由大模型掀起的算力競(jìng)賽也逐漸進(jìn)入“下半場(chǎng)”,由“建算力”過渡到“用算力”上。不同于大模型的參數(shù)量大、成本高、部署復(fù)雜,以“小而美”著稱的小模型為行業(yè)提供了新選擇。

近日,大模型頭部廠商微軟和英偉達(dá)紛紛押注小模型,相繼發(fā)布了最新的小型語言模型——Phi-3.5-mini-instruct和Mistral-NeMo-Minitron8B。這兩款模型的主要賣點(diǎn)是實(shí)現(xiàn)了計(jì)算資源使用和功能表現(xiàn)之間良好的平衡。更有消息稱,在某些方面,它們的性能甚至可以媲美大模型。

其實(shí),不僅國(guó)外小模型發(fā)展提速,國(guó)內(nèi)眾多廠商也有小模型問世。比如阿里巴巴發(fā)布的Qwen1.5系列,其最小參數(shù)可達(dá)到0.5B;面壁智能發(fā)布的MiniCPM系列模型號(hào)稱最強(qiáng)端側(cè)模型。

顧名思義,小模型即在參數(shù)量、計(jì)算資源需求、模型規(guī)模等方面相對(duì)較小的人工智能模型。從已有產(chǎn)品不難發(fā)現(xiàn),國(guó)內(nèi)外廠商紛紛入局小模型,既是看到了小模型相較于大模型的優(yōu)勢(shì)所在,也是積極助推人工智能模型落地的實(shí)踐。

在成本與資源利用上,小模型參數(shù)量少,對(duì)計(jì)算資源的需求較低,訓(xùn)練和推理成本也更低,這對(duì)于資源有限或預(yù)算緊張的企業(yè)來說極具吸引力。而且小模型體積小,部署相對(duì)簡(jiǎn)單,對(duì)硬件和存儲(chǔ)的要求不是很高,也無需復(fù)雜的分布式計(jì)算架構(gòu),能夠有效降低部署和維護(hù)的難度與成本。

在性能與效率平衡上,小模型的價(jià)值更多體現(xiàn)在滿足特定場(chǎng)景需求上,能夠更快地給出結(jié)果,實(shí)現(xiàn)實(shí)時(shí)響應(yīng)。此外,其定制性也更強(qiáng),企業(yè)可以基于自身業(yè)務(wù)數(shù)據(jù)對(duì)小模型進(jìn)行精調(diào)優(yōu)化,使其更貼合特定任務(wù)和場(chǎng)景。

在應(yīng)用場(chǎng)景拓展上,一方面,小模型更適應(yīng)邊緣計(jì)算需求,可以本地部署到個(gè)人電腦、手機(jī)等終端設(shè)備上并進(jìn)行數(shù)據(jù)處理和分析,降低數(shù)據(jù)傳輸?shù)皆贫说某杀竞碗[私風(fēng)險(xiǎn)。另一方面,小模型具備靈活性和低成本等特點(diǎn),更利于新業(yè)務(wù)探索,降低試錯(cuò)成本,幫助企業(yè)在新領(lǐng)域快速迭代和創(chuàng)新。

小模型的優(yōu)勢(shì)有目共睹,行業(yè)逐漸重視其應(yīng)用與開發(fā),也在很大程度上給了其“反卷”大模型的勇氣。但不可否認(rèn)的是,小模型參數(shù)量較小以及訓(xùn)練數(shù)據(jù)有限,在帶來輕便、易部署等一系列優(yōu)點(diǎn)的同時(shí),也暴露了可能存在理解深度與廣度不足、復(fù)雜任務(wù)處理能力有限、容易產(chǎn)生“偏見”等問題。

既然大模型與小模型各有利弊,行業(yè)應(yīng)用也應(yīng)各有所長(zhǎng),筆者認(rèn)為不能將大模型與小模型視為簡(jiǎn)單的競(jìng)爭(zhēng)關(guān)系,“適用為王”的理念更符合兩者的價(jià)值所在?!胺淳怼贝竽P停w現(xiàn)了小模型多樣化的行業(yè)需求,小模型自身的局限性也注定了其只能作為大模型的補(bǔ)充,以更好地推動(dòng)各行業(yè)智能化進(jìn)程。

為此,筆者認(rèn)為未來大模型與小模型更趨向于協(xié)同共生。

一是實(shí)現(xiàn)協(xié)同合作。大模型作為基礎(chǔ)支撐,將繼續(xù)在通用智能、復(fù)雜任務(wù)處理、大規(guī)模數(shù)據(jù)理解等方面發(fā)揮重要作用,小模型則在大模型的基礎(chǔ)上,針對(duì)不同的行業(yè)、領(lǐng)域、場(chǎng)景和用戶需求進(jìn)行個(gè)性化與精細(xì)化處理,支撐更精準(zhǔn)、高效的解決方案。

二是促進(jìn)技術(shù)融合。大模型和小模型在訓(xùn)練和優(yōu)化過程中所采用的方法可以相互借鑒和融合。將大模型訓(xùn)練中的大規(guī)模數(shù)據(jù)處理技術(shù)、算法優(yōu)化技術(shù)應(yīng)用到小模型的訓(xùn)練中,以提高小模型的性能;同時(shí),小模型的高效訓(xùn)練和優(yōu)化策略也可為大模型訓(xùn)練提供參考,以降低大模型訓(xùn)練成本和資源消耗。

三是共建生態(tài)體系。正如大模型最終還是要滿足用戶需求、走入行業(yè)應(yīng)用,可以預(yù)見的是,未來包括大模型、小模型在內(nèi)的不同規(guī)模和類型的模型將有賴于靈活組合和調(diào)度,根據(jù)開發(fā)者和用戶的具體需求,構(gòu)建最適合的應(yīng)用解決方案。

*本文刊載于《通信世界》總第951期 

2024年9月10日 第17期

最新文章
1
“碳索”美好“視界”,京東方用“科技+綠色”凝聚可持續(xù)生命力
2
智慧健康再進(jìn)化,TCL小藍(lán)翼C7新風(fēng)空調(diào)震撼發(fā)布,開創(chuàng)AI空調(diào)發(fā)展新時(shí)代!
3
乘冰雪經(jīng)濟(jì)“冬”風(fēng),中國(guó)品牌跨越式“走出去”
4
2024《世界品牌500強(qiáng)》,長(zhǎng)虹排名再升2位創(chuàng)歷史新高
5
這些家電巨頭,都有一顆“造芯”的心
6
11月中國(guó)家電出口量已公布,空調(diào)同比增長(zhǎng)41.3%
7
大尺寸OLED市場(chǎng)迎來發(fā)展機(jī)遇,但是依然有很多問題待解決
8
美的鮮為人知的一面 絢麗的B端千億矩陣
9
一加Ace 5今天官宣:外觀大曝光 全新鈦色搶眼
10
中國(guó)電競(jìng)顯示器線上銷量TOP10出爐:聯(lián)想升至第六 小米第七
11
英偉達(dá)CEO黃仁勛:GB200正滿載生產(chǎn) 進(jìn)展順利
12
《中國(guó)家電研發(fā)創(chuàng)新白皮書》重磅發(fā)布,以研發(fā)創(chuàng)新鍛造新質(zhì)生產(chǎn)力
13
英特爾直言Arm PC退貨率高,高通如何坐得?。?/a>
14
中視協(xié)發(fā)布《消費(fèi)電子領(lǐng)域?qū)@麑?shí)施許可議價(jià)機(jī)制指南》 為知識(shí)產(chǎn)權(quán)治理體系建設(shè)貢獻(xiàn)中國(guó)智慧
15
RUNTO | 對(duì)話歐菲光:名牌配角,造鎖主角
16
Omdia預(yù)測(cè)2025年全球量子計(jì)算供應(yīng)商收入將強(qiáng)勁增長(zhǎng)
17
“一箭十星”,中國(guó)星網(wǎng)首發(fā)成功
18
空調(diào)行業(yè)新環(huán)境下中小品牌的策略與發(fā)展
19
2025年家電以舊換新政策有望延續(xù),補(bǔ)貼產(chǎn)品有望進(jìn)一步擴(kuò)容
20
iPhone 17系列迎六年來首次設(shè)計(jì)大換代:回歸鋁合金背板
關(guān)于我們

微信掃一掃,加關(guān)注

商務(wù)合作
  • QQ:61149512