百度CTO王海峰首談文心大模型3.5：通過(guò)插件擴(kuò)增能力邊界

6月27日消息，據(jù)報(bào)道，日前，百度文心大模型3.5版本已內(nèi)測(cè)應(yīng)用，且在三大公開(kāi)測(cè)試集上的評(píng)測(cè)中表現(xiàn)不俗，綜合能力評(píng)測(cè)得分超過(guò)ChatGPT、部分中文能力超出GPT-4。

據(jù)《中國(guó)科學(xué)報(bào)》報(bào)道，3月，百度新一代知識(shí)增強(qiáng)大語(yǔ)言模型“文心一言”公開(kāi)邀測(cè)。該模型基于文心大模型3.0版本打造。時(shí)隔3個(gè)多月，文心大模型3.5版本的效果、功能、性能全面提升。

百度首席技術(shù)官王海峰介紹，與文心大模型3.0版本相比，3.5版本在效果、功能、性能上全面提升，這不僅表現(xiàn)在文心大模型的創(chuàng)作、問(wèn)答、推理和代碼的提升上，還體現(xiàn)在訓(xùn)練速度和推理速度的提升上。

對(duì)比數(shù)據(jù)顯示，文心大模型3.5的訓(xùn)練速度提升2倍、推理速度提升17倍。這將大大提高模型迭代升級(jí)效率，大幅降低訓(xùn)練及使用成本，進(jìn)一步提升用戶體驗(yàn)。

功能方面，文心大模型最大的一個(gè)變化是新增了插件機(jī)制。王海峰說(shuō)，默認(rèn)的內(nèi)置插件“百度搜索”使文心一言具備生成實(shí)時(shí)準(zhǔn)確信息的能力、長(zhǎng)文本摘要和問(wèn)答插件“ChatFile”支持超長(zhǎng)文本輸入，等等。

王海峰表示，下一階段，文心一言將發(fā)布更多優(yōu)質(zhì)的百度官方和第三方插件，使用戶能夠更好地應(yīng)用文心大模型。同時(shí)，文心一言將逐步開(kāi)放插件生態(tài)給第三方開(kāi)發(fā)者，幫助開(kāi)發(fā)者基于文心大模型打造自己的應(yīng)用。

王海峰透露，文心大模型3.5在基礎(chǔ)模型訓(xùn)練中采用了飛槳最先進(jìn)的自適應(yīng)混合并行訓(xùn)練技術(shù)及混合精度計(jì)算策略，采用多種策略優(yōu)化數(shù)據(jù)源及數(shù)據(jù)分布，大大加快了模型的迭代速度，顯著提升了模型效果和安全性。

同時(shí)，百度文心大模型研發(fā)團(tuán)隊(duì)創(chuàng)新了多類(lèi)型多階段有監(jiān)督精調(diào)、多層次多粒度獎(jiǎng)勵(lì)模型、多損失函數(shù)混合優(yōu)化策略、雙飛輪結(jié)合的模型優(yōu)化等技術(shù)，使模型效果及場(chǎng)景適配能力進(jìn)一步提升。

王海峰說(shuō)，在此前的知識(shí)增強(qiáng)和檢索增強(qiáng)的基礎(chǔ)上，文心大模型3.5版本進(jìn)一步提出了“知識(shí)點(diǎn)增強(qiáng)技術(shù)”。

具體而言，知識(shí)點(diǎn)增強(qiáng)技術(shù)首先是對(duì)用戶輸入的查詢、問(wèn)題等進(jìn)行分析理解，并解析生成答案所需要的相關(guān)知識(shí)點(diǎn)，之后運(yùn)用知識(shí)圖譜和搜索引擎為這些知識(shí)點(diǎn)找到相應(yīng)答案，最后用這些知識(shí)點(diǎn)構(gòu)造輸入給大模型的提示。

顯然，知識(shí)點(diǎn)增強(qiáng)技術(shù)能為大模型注入更具體、更詳細(xì)、更專(zhuān)業(yè)的知識(shí)點(diǎn)，顯著提升大模型對(duì)世界知識(shí)的掌握和運(yùn)用，使其完成各項(xiàng)任務(wù)的效果顯著提升。

此外，在推理方面，研發(fā)團(tuán)隊(duì)通過(guò)大規(guī)模邏輯數(shù)據(jù)構(gòu)建、邏輯知識(shí)建模、粗粒度與細(xì)粒度語(yǔ)義知識(shí)組合以及符號(hào)神經(jīng)網(wǎng)絡(luò)技術(shù)，顯著提升文心大模型3.5在邏輯推理、數(shù)學(xué)計(jì)算及代碼生成等任務(wù)上的表現(xiàn)。

媒體注意到，目前面向公眾邀測(cè)的文心一言自5月23日以來(lái)，已升級(jí)到文心一言2.0，最新版本為6月21日上線的文心一言V2.1.0。該版本的更新信息有“上線官方插件ChatFile，可基于長(zhǎng)文檔進(jìn)行問(wèn)答和摘要”“優(yōu)化了模型在數(shù)學(xué)計(jì)算和作文創(chuàng)作的能力”等，其背后正是文心大模型3.5提供的服務(wù)。

王海峰稱，已獲得邀測(cè)資格的用戶可以隨時(shí)訪問(wèn)服務(wù)，體驗(yàn)文心大模型3.5的實(shí)際效果。比如，當(dāng)前百度“如流”已經(jīng)基于文心一言的能力上線了“智能總結(jié)”“智能洞察”“超級(jí)助理”等多個(gè)新功能，傾力打造企業(yè)辦公的統(tǒng)一入口、重塑業(yè)務(wù)流程、打破系統(tǒng)邊界，實(shí)現(xiàn)工作模式的范式變革。

再比如，在智能編程方面，百度智能編碼助手Comate已可根據(jù)自然語(yǔ)言的描述，生成對(duì)應(yīng)的代碼片段，支持在代碼編輯區(qū)內(nèi)根據(jù)注釋自動(dòng)生成代碼，提升開(kāi)發(fā)效率。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。