百度CTO王海峰：大語(yǔ)言模型為通用人工智能帶來(lái)曙光

8月16日消息，由深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心主辦的WAVE SUMMIT深度學(xué)習(xí)開(kāi)發(fā)者大會(huì)2023在北京舉行。百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心主任王海峰做了主題演講。王海峰首次對(duì)外表示，大語(yǔ)言模型具備了理解、生成、邏輯、記憶等人工智能的核心基礎(chǔ)能力，為通用人工智能帶來(lái)曙光。

飛槳開(kāi)發(fā)者數(shù)已達(dá)800萬(wàn) 模型數(shù)超80萬(wàn)

WAVE SUMMIT深度學(xué)習(xí)開(kāi)發(fā)者大會(huì)始于2019年4月。王海峰在首屆大會(huì)上提出，深度學(xué)習(xí)具有很強(qiáng)的通用性，并具備標(biāo)準(zhǔn)化、自動(dòng)化和模塊化的工業(yè)大生產(chǎn)特征，推動(dòng)人工智能進(jìn)入工業(yè)大生產(chǎn)階段。四年來(lái)，深度學(xué)習(xí)技術(shù)和應(yīng)用的發(fā)展充分驗(yàn)證了這一觀點(diǎn)。深度學(xué)習(xí)技術(shù)的通用性越來(lái)越強(qiáng)，深度學(xué)習(xí)平臺(tái)的標(biāo)準(zhǔn)化、自動(dòng)化和模塊化特征越來(lái)越顯著，而預(yù)訓(xùn)練大模型的興起，使得人工智能應(yīng)用的深度和廣度進(jìn)一步拓展。人工智能已進(jìn)入工業(yè)大生產(chǎn)階段。

標(biāo)準(zhǔn)化方面，框架和模型聯(lián)合優(yōu)化，多硬件統(tǒng)一適配，應(yīng)用模式簡(jiǎn)潔高效，大幅降低人工智能應(yīng)用門(mén)檻；自動(dòng)化方面，從訓(xùn)練、適配，到推理部署，提升人工智能研發(fā)全流程效率；模塊化方面，豐富的產(chǎn)業(yè)級(jí)模型庫(kù)，支撐人工智能在廣泛場(chǎng)景的便捷應(yīng)用。

據(jù)了解，得益于飛槳產(chǎn)業(yè)級(jí)深度學(xué)習(xí)開(kāi)源開(kāi)放平臺(tái)和文心大模型的互相促進(jìn)，飛槳生態(tài)愈加繁榮，已凝聚800萬(wàn)開(kāi)發(fā)者，服務(wù)22萬(wàn)家企事業(yè)單位，基于飛槳?jiǎng)?chuàng)建了80萬(wàn)個(gè)模型。王海峰闡釋了飛槳開(kāi)發(fā)者社區(qū)AI Studio中文名“星河社區(qū)”的雋永含義，“文心加飛槳，翩然赴星河”。和所有的開(kāi)發(fā)者一起，在飛槳和文心的加持下，共建星河社區(qū)，共赴通用人工智能的星辰大海。

大語(yǔ)言模型為通用人工智能帶來(lái)曙光

王海峰表示，人工智能具有多種典型能力，理解、生成、邏輯、記憶是其中的核心基礎(chǔ)能力，這四項(xiàng)能力越強(qiáng)，越接近通用人工智能，而大語(yǔ)言模型具備了這四項(xiàng)能力，為通用人工智能帶來(lái)曙光。

具體而言，人工智能的典型能力如創(chuàng)作、編程、解題、規(guī)劃等都依賴(lài)于理解、生成、邏輯、記憶等核心基礎(chǔ)能力，依賴(lài)程度有所不同。以解題為例，從讀懂題目、解答題目到最后寫(xiě)出答案，需要理解、記憶、邏輯及生成能力的綜合運(yùn)用。

如何獲得這些能力呢？以文心一言為例，首先從數(shù)萬(wàn)億數(shù)據(jù)和數(shù)千億知識(shí)中融合學(xué)習(xí)得到預(yù)訓(xùn)練大模型，在此基礎(chǔ)上采用有監(jiān)督精調(diào)、人類(lèi)反饋的強(qiáng)化學(xué)習(xí)和提示等技術(shù)，并具備知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話(huà)增強(qiáng)等技術(shù)優(yōu)勢(shì)。

進(jìn)一步地，通過(guò)多種策略?xún)?yōu)化數(shù)據(jù)源及數(shù)據(jù)分布、基礎(chǔ)模型長(zhǎng)文建模、多類(lèi)型多階段有監(jiān)督精調(diào)、多任務(wù)自適應(yīng)有監(jiān)督精調(diào)、多層次多粒度獎(jiǎng)勵(lì)模型等技術(shù)創(chuàng)新，全面提升基礎(chǔ)通用能力。在檢索增強(qiáng)和知識(shí)增強(qiáng)的基礎(chǔ)上，通過(guò)知識(shí)點(diǎn)增強(qiáng)，提升對(duì)世界知識(shí)的掌握和運(yùn)用；通過(guò)大規(guī)模邏輯數(shù)據(jù)構(gòu)建、邏輯知識(shí)建模、多粒度語(yǔ)義知識(shí)組合以及符號(hào)神經(jīng)網(wǎng)絡(luò)，提升邏輯能力；通過(guò)構(gòu)建數(shù)據(jù)、內(nèi)容、模型和系統(tǒng)安全的全面安全體系，保障大模型的安全性。
效率方面，通過(guò)飛槳端到端自適應(yīng)混合并行訓(xùn)練技術(shù)以及壓縮、推理、服務(wù)部署的協(xié)同優(yōu)化，文心大模型訓(xùn)練速度達(dá)到原來(lái)的3倍，推理速度達(dá)到原來(lái)的30多倍。
應(yīng)用方面，通過(guò)數(shù)據(jù)驅(qū)動(dòng)、提示構(gòu)建，以及插件增強(qiáng)進(jìn)行場(chǎng)景適配，協(xié)同優(yōu)化。文心一言已上線(xiàn)百度搜索、覽卷文檔、E 言易圖、說(shuō)圖解畫(huà)、一鏡流影五大插件，使模型具備生成實(shí)時(shí)準(zhǔn)確信息、長(zhǎng)文本摘要和問(wèn)答、數(shù)據(jù)洞察和圖表制作、基于圖片的創(chuàng)作和問(wèn)答、文生視頻等能力。插件機(jī)制擴(kuò)展了大模型能力邊界，更適應(yīng)場(chǎng)景需要。王海峰表示，未來(lái)百度將與開(kāi)發(fā)者共建插件生態(tài)，共享技術(shù)創(chuàng)新成果。

以大語(yǔ)言模型為代表的人工智能正在深入千行百業(yè)，加速產(chǎn)業(yè)升級(jí)和經(jīng)濟(jì)增長(zhǎng)。在這個(gè)進(jìn)程中，技術(shù)創(chuàng)新和應(yīng)用落地形成良性循環(huán)，理解、生成、邏輯、記憶等能力持續(xù)提升，產(chǎn)業(yè)應(yīng)用的廣度和深度持續(xù)拓展，大語(yǔ)言模型為通用人工智能帶來(lái)曙光。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。