百度CTO王海峰詳解“文心一言”背后技術(shù)特性

3月16日消息，百度于北京總部召開新聞發(fā)布會，主題圍繞新一代大語言模型、生成式AI產(chǎn)品文心一言。百度首席技術(shù)官王海峰現(xiàn)在詳解了文心一言背后的文心大模型及技術(shù)特性。

文心一言是新一代知識增強(qiáng)大語言模型，也是百度繼文心一格之后的又一個(gè)生成式AI產(chǎn)品，具備對話交互、內(nèi)容創(chuàng)作、知識推理、多模態(tài)生成等能力。

王海峰表示，新一代知識增強(qiáng)大語言模型文心一言，是在ERNIE及PLATO系列模型的基礎(chǔ)上研發(fā)的。它的關(guān)鍵技術(shù)包括有監(jiān)督精調(diào)、人類反饋的強(qiáng)化學(xué)習(xí)、提示、知識增強(qiáng)、檢索增強(qiáng)和對話增強(qiáng)。前三項(xiàng)是這類大語言模型都會采用的技術(shù)，ERNIE和PLATO中已經(jīng)有應(yīng)用和積累，在一言中又有了進(jìn)一步強(qiáng)化和打磨；后三項(xiàng)則是百度已有技術(shù)優(yōu)勢的再創(chuàng)新，也是一言未來越來越強(qiáng)大的基礎(chǔ)。

在知識增強(qiáng)方面，文心一言的知識增強(qiáng)主要是通過知識內(nèi)化和知識外用兩種方式。知識內(nèi)化，是從大規(guī)模知識和無標(biāo)注數(shù)據(jù)中，基于語義單元學(xué)習(xí)，利用知識構(gòu)造訓(xùn)練數(shù)據(jù)，將知識學(xué)習(xí)到模型參數(shù)中；知識外用，是引入外部多源異構(gòu)知識，做知識推理、提示構(gòu)建等等。

在檢索增強(qiáng)方面，文心一言的檢索增強(qiáng)，來自以語義理解與語義匹配為核心技術(shù)的新一代搜索架構(gòu)。通過引入搜索結(jié)果，可以為大模型提供時(shí)效性強(qiáng)、準(zhǔn)確率高的參考信息，更好地滿足用戶需求。

在對話增強(qiáng)方面，基于對話技術(shù)和應(yīng)用積累，文心一言具備記憶機(jī)制、上下文理解和對話規(guī)劃能力，實(shí)現(xiàn)更好的對話連貫性、合理性和邏輯性。

“百度特有的技術(shù)，現(xiàn)在已經(jīng)應(yīng)用在文心一言上”，王海峰也坦言，技術(shù)有了，但是大模型的訓(xùn)練的還不夠充分。不過文心大模型建立起人類反饋、獎勵模型和策略優(yōu)化之間的飛輪機(jī)制，隨著真實(shí)用戶的反饋越來越多，文心一言的效果會越來越好，能力越來越強(qiáng)。

王海峰稱，百度自2010年起開始全面布局人工智能，是全球?yàn)閿?shù)不多、進(jìn)行全棧布局的人工智能公司。從昆侖芯片、飛槳深度學(xué)習(xí)平臺、文心大模型到應(yīng)用，百度在技術(shù)棧的各層都有領(lǐng)先業(yè)界的關(guān)鍵自研技術(shù)，實(shí)現(xiàn)了層與層反饋，端到端優(yōu)化。

王海峰強(qiáng)調(diào)，飛槳深度學(xué)習(xí)平臺支撐文心一言效果更好、效率更高、性能更強(qiáng)。對于開發(fā)訓(xùn)練，飛槳動靜統(tǒng)一的開發(fā)范式，以及自適應(yīng)分布式架構(gòu)，可以實(shí)現(xiàn)大模型的靈活開發(fā)和高效訓(xùn)練。在推理部署方面，飛槳支持大模型高效推理，并提供服務(wù)化部署能力，包括計(jì)算融合、軟硬協(xié)同的稀疏量化、模型壓縮等等。文心大模型加上飛槳深度學(xué)習(xí)平臺，夯實(shí)了產(chǎn)業(yè)智能化基座。隨著文心一言與飛槳平臺的進(jìn)一步融合發(fā)展，人工智能技術(shù)和應(yīng)用的研發(fā)將越來越標(biāo)準(zhǔn)化、自動化和模塊化，加速人工智能的工業(yè)大生產(chǎn)，同時(shí)也反哺文心一言加速迭代進(jìn)化，落地更多場景和行業(yè)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。