6月15日消息,在第六屆“北京智源大會”上,零一萬物CEO、創(chuàng)新工場董事長李開復(fù)博士,中國工程院院士、清華大學(xué)智能產(chǎn)業(yè)研究院(AIR)院長張亞勤院士、智源研究院理事長黃鐵軍教授,三位行業(yè)領(lǐng)袖就大模型的成功因素、面臨的挑戰(zhàn)、產(chǎn)業(yè)化場景等多個熱點(diǎn)話題展開了深入的討論。
以下為討論內(nèi)容部分摘錄:
一、什么原因使得大模型如此成功?
黃鐵軍:近期關(guān)于大模型的討論特別熱門,從剛才的報告大家也感受到了大模型的能量以及其在各領(lǐng)域的應(yīng)用潛力,可以說大模型是至今為止人工智能發(fā)展最成功的一個技術(shù)方向。想請問兩位,是什么原因使得大模型如此成功?還有哪些欠缺的地方需要進(jìn)一步發(fā)展?
李開復(fù):AI 2.0是有史以來最偉大的科技革命和平臺革命,大模型Scaling Law 的重要性在這個時代得以凸顯——人類能夠用更多計(jì)算和數(shù)據(jù)不斷增加大模型的智慧,這條被多方驗(yàn)證的路徑還在推進(jìn)中,還遠(yuǎn)沒有觸達(dá)天花板,這點(diǎn)也讓大家非常振奮。
第二,大模型的智慧來自于接近無損的壓縮,這點(diǎn)也非常重要。上世代的人工智能從業(yè)者很難想到今天會把壓縮和智能連接在一起。因?yàn)镾caling Law過程中不能盲目堆更多的GPU,所以需要有一個方法評估我們有沒有越做越好或者哪個方法做得更好。零一萬物內(nèi)部有嚴(yán)謹(jǐn)?shù)姆椒ㄕ摚脡嚎s的理念去評估,讓以往漫無目的“煉丹”訓(xùn)模過程變得更系統(tǒng)也更有科學(xué)和數(shù)學(xué)根據(jù)。
大模型正面臨著一些挑戰(zhàn)。比方說,如果“僅僅用更多算力就能把它往前推動”是主要方向的話,就會導(dǎo)致只有那些GPU資源豐富的公司和國家能夠在這方面勝出。但話說回來,我們已經(jīng)驗(yàn)證了,很多國內(nèi)大模型在部分案例里接近或者打平、或者偶爾超過美國的大模型。所以我認(rèn)為需要專注的是算法和工程創(chuàng)新一體化的推進(jìn),以及怎么以這種能力避免進(jìn)入“盲目堆算力推動模型性能提升”的狀態(tài)。
當(dāng)然,目前大模型還直面許多挑戰(zhàn)。就像每個技術(shù)剛誕生都會有問題,起初大模型也不知道最近一年發(fā)生了什么。還有記憶的問題、窗口構(gòu)成的問題、幻覺問題等等,但我們可以看到的是,當(dāng)全球如此多聰明的大腦涌入這個領(lǐng)域后,大部分問題不能說被完美地解決,但是都在逐步被攻克的過程中,所以我對大模型的未來相當(dāng)樂觀。
張亞勤:我講“三個做對了”的和“三個需要改進(jìn)”的 。
“三個做對了”的點(diǎn)是,首先,規(guī)模定律Scaling Law。規(guī)模定律的實(shí)現(xiàn),主要得益于對海量數(shù)據(jù)的利用以及算力的顯著提升。再加上現(xiàn)在的Diffusion和Transformer架構(gòu)能夠高效地利用算力和數(shù)據(jù),使得“飛輪效應(yīng)”得以正循環(huán)。盡管有人質(zhì)疑Scaling Law在2到3年后是否仍然有效,但我個人認(rèn)為至少在未來5年里,它仍將是產(chǎn)業(yè)發(fā)展的主要方向。
其次是“Token-Based”統(tǒng)一表述方式。在大模型中,“Token”是一個基本元素。無論是文本、語音、圖像、視頻,還是自動駕駛中的激光雷達(dá)信號,甚至是生物領(lǐng)域的蛋白質(zhì)和細(xì)胞,最終都可以抽象為一個Token。Token之間的訓(xùn)練、學(xué)習(xí)和生成是核心環(huán)節(jié),這與我們大腦中的神經(jīng)元工作原理相似,無論執(zhí)行何種任務(wù),其基礎(chǔ)機(jī)制都是相同的。
最后是通用性。這與Token緊密相關(guān)?,F(xiàn)在的通用性不僅體現(xiàn)在文本處理上,還擴(kuò)展到了多模態(tài)領(lǐng)域,甚至可以生成如蛋白質(zhì)等復(fù)雜結(jié)構(gòu)。此外,它在物理世界(如具身智能)和生物世界(如生物智能)中也有著廣泛的應(yīng)用前景。以上這三個是大模型做對的。
現(xiàn)階段主要問題呢,第一個是效率較低。特別是大模型的計(jì)算效率低下問題,與人類大腦的高效性形成了鮮明的對比。
人類大腦擁有860億個神經(jīng)元,每個神經(jīng)元又有數(shù)千個突觸連接,卻只需要20瓦的能量,重量還不到三斤;而GPT-4這個萬億參數(shù)模型則需要巨大的算力和能源,與人腦相比相差1,000倍之多。
此外,人腦能夠根據(jù)不同的情境靈活調(diào)用不同區(qū)域的神經(jīng)元,而大模型卻每次輸入一個問題都要調(diào)用和激活幾乎大量參數(shù)。
因此,如何借鑒人類大腦的計(jì)算方法,在降低計(jì)算耗能、提高效率方面進(jìn)行探索和創(chuàng)新,是一個值得關(guān)注的方向。
第二個,大模型目前還未能真正理解物理世界,相關(guān)的推理能力、透明性以及開復(fù)剛才提到的幻覺等問題都還在深入研究中。
有一個重要的問題是,即使我們的大模型做得再好,它在生成式表述與對真實(shí)世界的描繪之間仍存在矛盾。因此,我們需要探索如何將生成式的概率大模型與現(xiàn)有的“第一性原理”或真實(shí)模型、知識圖譜相結(jié)合。
目前,雖然已經(jīng)有了一些嘗試,如采用RAG技術(shù)或進(jìn)行微調(diào),并取得了一定的進(jìn)展,但我認(rèn)為這些方法并非根本解決方案。我預(yù)測,在未來五年內(nèi),將會有一個全新的架構(gòu)出現(xiàn),這個架構(gòu)有望取代目前的Transformer和Diffusion模型。
第三個欠缺的地方是邊界問題?,F(xiàn)在大模型無法知道“我不知道什么”,這是目前要解決的問題,是它的邊界效應(yīng)。
黃鐵軍:謝謝亞勤的“三個做對了”和“三個不足”。
剛才開復(fù)老師沒講,我想再追加問一下,有些人認(rèn)為大模型是一個實(shí)踐、是一個工程,是經(jīng)驗(yàn)主義做的東西,沒有理論基礎(chǔ),說得不好聽叫“不靠譜”,不知道你怎么看這個問題?
李開復(fù):我覺得科學(xué)和工程缺一不可。如果只做工程,不了解“第一性原理”,沒有數(shù)學(xué)的根據(jù)、沒法評估不同路徑的效果,考慮到高昂的算力成本,這樣的摸索肯定是做不出一個好模型的。但是如果只是在實(shí)驗(yàn)室里雕花,期待有工程人才把自己的論文做成產(chǎn)品,這也是不行的。
零一萬物的經(jīng)驗(yàn)是,每個做AI、做模型的Researcher要懂Infrastructure、都要懂推理、都要知道成本的問題。這樣當(dāng)你需要面對科研問題時,就知道在產(chǎn)品里需要的反應(yīng)速度有多快,要怎么實(shí)現(xiàn),做完實(shí)驗(yàn)就能確保模型可以得到令人滿意的工程結(jié)果。訓(xùn)練模型的過程中絕對不只是寫Paper,還要同時考慮怎樣系統(tǒng)化、工程化地做數(shù)據(jù)工程,因?yàn)閿?shù)據(jù)的訓(xùn)練、數(shù)據(jù)的篩選是非常重要的。還有底層的AI Infrastructure,GPU這么昂貴,如果把一張當(dāng)成兩張、三張使用,任何公司都會得到好處,所以科技和工程這兩方面缺一不可。
二、大模型產(chǎn)業(yè)化To B、To C哪個賽道更有機(jī)會?
黃鐵軍:大家關(guān)心AI2.0,大模型產(chǎn)業(yè)化最大的場景在哪里?移動互聯(lián)網(wǎng)這么多年,To B、To C ,這兩個大賽道哪個更有機(jī)會?為什么?
李開復(fù):簡單來說,在中國To C 短期更有機(jī)會,國外兩者都有機(jī)會。To C方面,就像移動互聯(lián)網(wǎng)、PC時代里,一個新技術(shù)、新平臺帶來新應(yīng)用,大模型同樣如此,這是巨大的機(jī)會,但是這些應(yīng)用的出現(xiàn)一定是按部就班的。
我認(rèn)為AI 2.0 時代會和PC、移動互聯(lián)網(wǎng)時代一樣,第一個階段應(yīng)該是生產(chǎn)力工具,包括信息獲??;第二個階段可能會是娛樂、音樂、游戲,第三個階段可能會是搜索;再下一個階段可能會是電商;然后可能會有社交、短視頻、O2O的應(yīng)用出現(xiàn)。
一個理由就是剛開始應(yīng)用要能夠賺錢、能夠解決問題,所以第一波潮流會是生產(chǎn)力工具,但越往后,難度越高——高用戶量的應(yīng)用商業(yè)模式往往是先堆積用戶再找變現(xiàn)模式,所以應(yīng)用成本一定要很低,試錯難度很大、所需要的投資也更多。
我認(rèn)為遞進(jìn)的模式不會有特別大的改變,To C應(yīng)用會從生產(chǎn)力工具一步步走向短視頻類應(yīng)用。To C確實(shí)會產(chǎn)生大量的用戶,但這不是說不能用大模型來做產(chǎn)品,只是在普及順序上會按照這六個階段進(jìn)行。
當(dāng)然,這個過程中也有挑戰(zhàn),在大模型領(lǐng)域做應(yīng)用跟PC、互聯(lián)網(wǎng)時代不一樣,因?yàn)橥评沓杀具€太貴。最近零一萬物提出了TC-PMF概念(技術(shù)成本??產(chǎn)品市場契合度),這個概念是指,當(dāng)你考慮PMF時,還要把技術(shù)的需求、實(shí)現(xiàn)難度和成本考慮進(jìn)去。
做應(yīng)用一定要考慮到剛才這六個階段誰先誰后、什么時候做、提早做。第二,做應(yīng)用的時候還要綜合考慮到當(dāng)時的技術(shù)夠不夠好,成本是否足夠低,所以大模型To C應(yīng)用不像過去移動互聯(lián)網(wǎng)時代,產(chǎn)品經(jīng)理一個人就可以做主,它需要做Infrastructure、做推理引擎的人、一起打磨TC-PMF。這件事難度高,但是回報也高,機(jī)會也更大。
最后我想講,在To C方面,我不相信技術(shù)可以永久領(lǐng)先,事實(shí)上技術(shù)帶來的領(lǐng)先窗口非常短暫,一旦巨頭看到你驗(yàn)證了PMF,他們會有很多方法超越你。一旦你驗(yàn)證了TC-PMF,要把握時間窗口把品牌打出來,最終勝出的To C應(yīng)用不只是需要有技術(shù)優(yōu)勢,還需要在時間窗口內(nèi)打造持續(xù)優(yōu)勢,比如品牌優(yōu)勢,比如社交鏈,比如用戶數(shù)據(jù),讓用戶不能離開你這個平臺。在微信強(qiáng)大的時代里抖音能被做出來,就是因?yàn)樗プ×诉@個時間窗口。
再講一下To B的應(yīng)用。大模型有可能在To B方向上帶來更大價值,而且能夠比To C更快實(shí)現(xiàn),但是To B這個領(lǐng)域有幾個挑戰(zhàn)。
第一個挑戰(zhàn)是大公司、傳統(tǒng)公司不是很敢采取顛覆式技術(shù),大公司會習(xí)慣每年增長5%預(yù)算,做和去年一樣的事情。
第二個挑戰(zhàn)在中國比較嚴(yán)重,許多大公司沒有認(rèn)識到軟件的價值,為軟件付費(fèi)意的意識有待進(jìn)一步提高。現(xiàn)在有許多大模型公司在競標(biāo)時越競越低,做到最后做一單賠一單,都沒有利潤。我們在AI 1.0時代曾見過這個現(xiàn)象,現(xiàn)在它在AI 2.0時代又重現(xiàn)了。這種心態(tài)導(dǎo)致部分大公司只愿支付很低的價格,大模型公司也只能給出折中的方案,達(dá)到驚艷效果的寥寥無幾。
零一萬物堅(jiān)決做To C,不做賠錢的To B,而是做能賺錢的To B。所以零一萬物在To B方面精挑細(xì)選,找那種公司上下都愿意擁抱新概念的公司,也為它們設(shè)計(jì)了 RAG 知識檢索、專有云、微調(diào)等方案,在國內(nèi)國外都有嘗試。
無論To C還是To B,API都很重要,最近國內(nèi)很多模型降價了,零一萬物也推出了接入國際SOTA成績Yi-Large大模型的API,也希望有機(jī)會可以跟各位合作。這個API背后的模型能力大概接近GPT-4o,但是價格是GPT-4的四分之一,我相信這可以幫助更多公司或者創(chuàng)業(yè)者達(dá)到所謂的TC-PMF。
黃鐵軍:謝謝開復(fù)老師對To B、To C的分析,很透徹。亞勤,剛才關(guān)于To B的觀點(diǎn),大家還有一個非常關(guān)心的問題,大模型產(chǎn)業(yè)的最大場景會在哪里?To B、To C在什么地方能夠落地發(fā)揮作用?
張亞勤:在應(yīng)用和服務(wù)層面,先面向消費(fèi)者(To C)再面向企業(yè)(To B)。To B的周期相對較長,而To C的應(yīng)用產(chǎn)品則可以迅速推出,這與過去的PC互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的發(fā)展路徑基本一致。在基礎(chǔ)設(shè)施層,目前真正盈利的主要集中在To B領(lǐng)域,特別是在芯片、硬件、服務(wù)器等。像英偉達(dá)、AMD等芯片制造商,以及服務(wù)器、HBM存儲、InfiniBand和NVLink等相關(guān)技術(shù)的提供商,他們目前是盈利最多的。
關(guān)于AI路徑,我在過去十年中一直強(qiáng)調(diào)三個關(guān)鍵領(lǐng)域:首先是信息智能,其次是物理智能(現(xiàn)在流行的術(shù)語是具身智能),最后是生物智能。在具身智能階段,To B的應(yīng)用可能會比To C更快落地。然而,在生物智能階段,情況可能相反,To C的應(yīng)用可能會先于To B出現(xiàn)。盡管每個領(lǐng)域的具體情況可能有所不同,但總體來看,無論是To C還是To B,都將存在開源模型、商業(yè)閉源模型、基礎(chǔ)大模型,以及針對垂直行業(yè)模型和邊緣模型。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- TechWeb一周熱點(diǎn)匯總:特斯拉下月量產(chǎn)改款Model Y,阿里“甩賣”銀泰
- 蔚來第三品牌firefly螢火蟲首款車型正式亮相 預(yù)售價14.88萬元
- 首發(fā)線控轉(zhuǎn)向等多項(xiàng)技術(shù) 蔚來旗艦車型ET9正式上市:78.8萬元起
- 網(wǎng)信辦:從嚴(yán)打擊網(wǎng)上侵害未成年人合法權(quán)益行為
- 豆包大模型全面升級,相關(guān)概念股瘋漲,字節(jié)發(fā)布緊急警示
- TechWeb微晚報:“小紅書封號”沖上熱搜,小米YU7無偽裝實(shí)車首次曝光
- “小米SU7墜崖一家四口安然無恙”沖上熱搜 車主回應(yīng)
- 奇富科技發(fā)布AI產(chǎn)品小奇等金融AI大模型成果
- 消息稱極越公關(guān)負(fù)責(zé)人被開除 當(dāng)事人回應(yīng)了
- 不法分子大范圍傳播木馬病毒 微信發(fā)布緊急公告
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。