留給“端側大模型”的時間不多了

端側大模型（Edge AI models），也就是只在設備本地（如智能手機、IoT設備、嵌入式系統(tǒng)等）運行的大模型，過去一兩年來非常流行。

具體表現(xiàn)在，終端設備廠商，如蘋果、榮耀、小米、OV等，AI公司如商湯科技，都推出了自研的純端側大模型。

端側大模型存在的意義，就是“以小博大”。

簡單來說，和云側大模型相比，端側大模型要在本地部署，所以參數(shù)規(guī)模都不大，不用擔心私密數(shù)據(jù)在推理時被泄露；不需要網(wǎng)絡傳輸，因此響應速度更快；設備原生搭載，不需要租用云資源，用起來更省……

聽起來，端側大模型簡直是AI設備不可或缺的標配啊。但實際情況，可能出乎很多人的意料。

我們在調(diào)研和使用多個終端廠商的大模型時發(fā)現(xiàn)，端云協(xié)同、云端大模型，才是大模型在端側的主流形式。

比如目前很流行的“手機拍照一鍵擦除背景人物”，僅靠端側大模型的計算能力是無法實現(xiàn)的，需要端云協(xié)同來完成。

再比如公文寫作、長文要點總結、PDF要點摘要等，端側大模型要么無法完成，比如榮耀、OPPO端側大模型都不支持PDF文本摘要，小米MiLM的支持度和生成效果也不夠好。

最終，用戶還是要訪問GPT-4、文心一言、智譜清言、訊飛星火、KIMI等云端大模型的網(wǎng)頁/APP，來滿足一些復雜AIGC任務需求。

不難看到，端側大模型聽起來很美，但真正用起來卻有點雞肋。

而隨著云端大模型“變大”（走向統(tǒng)一多模態(tài)）又“變小”（壓縮技術），留給“端側大模型”的時間，真的不多了。

端側大模型不是萬能的，但沒有云側大模型是萬萬不能的

目前來看，“端側大模型”收益和損失這筆賬，根本算不平。

先說收益，云端大模型比端側大模型對用戶的價值更大。

端側AI首先要保障用戶體驗，先有價值，再說其他。只能在設備本地運行，意味著“端側大模型”注定不會太大，必然限制了模型本身的性能表現(xiàn)，無法媲美云端大模型。

所以，用戶在使用端側大模型時，要犧牲一部分體驗，那么所獲得的收益是否更大呢？并不是。

云端大模型的能力變得越來越強大，與不得不“因小失大”的端側大模型，拉開了更大的體驗差距。比如近期OpenAI和谷歌斗得火熱的多模態(tài)大模型，GPT-4o和Gemini帶來令人驚艷的語音交互、多種模態(tài)一次生成等能力，處理圖片、視頻、音頻等數(shù)據(jù)和復雜邏輯，都要在云端運行。

一位國內(nèi)PC行業(yè)的資深從業(yè)者曾告訴腦極體，大模型出來之后我們硬件企業(yè)就在研究，怎么將大模型跟PC結合，究竟什么是真正的AI PC？結論就是，搭載了GPT-4（代指當下最先進大模型）的硬件，確實可以叫“AI xx”，模型能力才是最核心的。

所以，想做好端側AI，端側大模型不是萬能的，但沒有云側大模型是萬萬不能的。

云端大模型不得不用，那端側大模型也一樣非用不可嗎？這就要來說說損失了。

不用端側大模型，并不會給用戶帶來更大的麻煩。

此前，終端追求搭載“端側大模型”，主要受限于兩點：計算瓶頸、安全顧慮。大模型推理對實時性的要求，云端相比本地的時延更高。此外，手機、PC涉及大量隱私數(shù)據(jù)，傳輸?shù)皆贫诉M行推理，讓很多人有顧慮。上述兩點“損失”正在被積極地解決。

比如前不久谷歌I/O大會上，就發(fā)布了響應速度快、成本低的輕量化模型Gemini 1.5 Flash。谷歌采用了“蒸餾”方法，將較大Gemini 模型的核心知識和技能遷移到了更小、更高效的模型中，Gemini 1.5 Flash在摘要、聊天應用、圖像和視頻字幕等多種任務中，有很好的表現(xiàn)，可以在不同平臺運行。

此外，本地計算硬件針對AI任務進行優(yōu)化，也可以提升云端推理服務的流暢度。目前x86、Arm陣營都在積極提升端側計算單元對AI專項任務的適配度，已經(jīng)有旗艦和高端手機支持實時運行大規(guī)模參數(shù)量的大模型。

數(shù)據(jù)安全層面，終端廠商和大模型企業(yè)都推出了相應的隱私安全保護機制，通過“數(shù)據(jù)可用不可見”、脫敏、聯(lián)邦學習等多種手段，防范泄露風險。

以一貫注重隱私安全的蘋果為例，也自研了端側模型OpenELM，可在手機和筆記本電腦等設備上運行，但在真正上線AIGC等能力時，據(jù)說也將選擇與大模型企業(yè)合作（國外據(jù)傳是OpenAI，國內(nèi)據(jù)傳是文心一言）。

綜上，使用“云端大模型”的收益正顯著增大，不用“端側大模型”的損失卻越來越小。這讓“以小博大”端側大模型，顯得越來越不劃算了。

接下來的故事也不難預測，隨著越來越多的終端企業(yè)，紛紛把云端大模型塞進設備，純端側大模型的存在會越來越尷尬，進入到“不好用－不愛用－更不好用”的循環(huán)中。

這端側大模型，終端廠商是非做不可嗎？

你可能會問了，既然端側大模型不如云端大模型好用，為什么終端廠商還都在下大力氣做呢？

客觀情況是，大模型必須得有，但終端廠商并不適合做云端大模型，所以端側、端云協(xié)同就成了必選項。

一位國內(nèi)某終端企業(yè)的負責人曾直言：即使我的研發(fā)費用再翻一倍，也沒法做像ChatGPT、AIGC、Sora這樣的通用大模型，還是會選擇跟百度、騰訊、阿里巴巴等伙伴合作。

比如榮耀正在引導百模千態(tài)，在手機中接入文心一言等通用大模型，以及高德地圖、航旅縱橫等行業(yè)大模型；華為在PC中接入了文心一言、訊飛星火、智譜AI的通用大模型，同時上線了基于自研盤古大模型的AI紀要功能……

從主觀角度猜測，終端廠商做端側大模型，既有品牌方面的考量，彰顯大模型技術的自研能力，也有“將靈魂握在自己手里”的考慮，類似于銀行、金融機構、車企希望將數(shù)據(jù)這一核心優(yōu)勢，掌握在自己手里，打造行業(yè)大模型，而非交給大模型廠商。

終端廠商，既希望通過合作云端大模型，拔高AI設備的體驗優(yōu)勢，增強產(chǎn)品對消費者的吸引力，又希望通過自研抓住端側大模型，守住數(shù)據(jù)護城河，是進可攻、退可守的大模型策略。

我們預計，隨著云端大模型的性能、能力在非線性增長，終端廠商的純端側大模型，會被拉開越來越大的差距，無法成為消費者的購買決策依據(jù)。

不遠的將來，能否在設備側整合優(yōu)質(zhì)云端大模型生態(tài)，會成為AI終端設備的賽點。

總結一下就是，端側大模型，終端廠商可以做，但沒必要。云側大模型，終端廠商必須有，且得比人強。

深度協(xié)作的不只大模型，還有兩類廠商

在一次與華為終端的交流中，對方提到：華為是唯一一個云側通用大模型、端側大模型全自研的終端廠商（指盤古大模型），這給AI硬件奠定了很好的基礎。比如要完成一個復雜的AIGC任務，可以拆分為云、端、邊緣等并行訓練，兼顧推理效果、運行速度、數(shù)據(jù)安全等。

需要說明的是，上述思路仍處于概念驗證階段，目前我們還未能在華為終端設備上體驗到盤古大模型從云到端的深度整合。但這一理念，在邏輯上確實是說得通的——通過端云高效協(xié)同，可以建立起無短板的大模型產(chǎn)品力，打動AI硬件的潛在消費者，而這離不開終端廠商和通用大模型廠商的深度合作。

端側大模型和云側通用大模型全自有的終端企業(yè)，確實具備緊密融合的先天優(yōu)勢，不過，其他廠商也可以通過開放生態(tài)補足，形成一個更全面的AGI模型生態(tài)。

這對雙方來說，是一件互利共贏的事情：

通用大模型廠商，需要借助終端廠商的龐大設備生態(tài)，作為大模型落地的土壤，回收基座模型的龐大投入。借助端側的設備數(shù)據(jù)，更好地解決大模型的幻覺問題，推動模型進化。

而終端廠商，需要通用大模型（尤其是尖端版本的云端大模型）作為體驗支撐，為用戶提供最先進的AIGC應用和體驗，避免在基座模型上投入太高的研發(fā)成本，也避免在AI體驗上被其他終端廠商拉大。

在此基礎上，終端廠商和云端通用大模型廠商還要抓緊解決的重點問題：

安全問題。如何在保證隱私數(shù)據(jù)的基礎上，學習設備數(shù)據(jù)，明確數(shù)據(jù)權益與責任歸屬，對數(shù)據(jù)產(chǎn)生的商業(yè)收益建立合理的分配機制。

開發(fā)者分利政策。無論是手機的AI應用，還是云端大模型的AI應用，都需要開發(fā)者來完成。終端開發(fā)者生態(tài)和大模型開發(fā)者生態(tài)的進一步打通，也會增加對開發(fā)者的吸引力，加速AI應用的孵化。那么，如何共同賦能并分利給開發(fā)者，將成為兩類廠商合作與博弈的關鍵。

今年上半年，我們見證了通用大模型的諸多突破，留給端側大模型的時間已經(jīng)不多了，留給終端廠商構建大模型共同體生態(tài)的機會窗口期，也并不會太久。

下半年，我們或?qū)⒁娮C一場“終端廠商+大模型廠商”攜手的“陣營戰(zhàn)”。

生成海報

免責聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關。文章僅供讀者參考，并請自行核實相關內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。