3月16日消息，百度于北京總部召開新聞發(fā)布會，主題圍繞新一代大語言模型、生成式AI產品文心一言。百度首席技術官王海峰現在詳解了文心一言背后的文心大模型及技術特性。
文心一言是新一代知識增強大語言模型，也是百度繼文心一格之后的又一個生成式AI產品，具備對話交互、內容創(chuàng)作、知識推理、多模態(tài)生成等能力。
王海峰表示，新一代知識增強大語言模型文心一言，是在ERNIE及PLATO系列模型的基礎上研發(fā)的。它的關鍵技術包括有監(jiān)督精調、人類反饋的強化學習、提示、知識增強、檢索增強和對話增強。前三項是這類大語言模型都會采用的技術，ERNIE和PLATO中已經有應用和積累，在一言中又有了進一步強化和打磨；后三項則是百度已有技術優(yōu)勢的再創(chuàng)新，也是一言未來越來越強大的基礎。
在知識增強方面，文心一言的知識增強主要是通過知識內化和知識外用兩種方式。知識內化，是從大規(guī)模知識和無標注數據中，基于語義單元學習，利用知識構造訓練數據，將知識學習到模型參數中；知識外用，是引入外部多源異構知識，做知識推理、提示構建等等。
在檢索增強方面，文心一言的檢索增強，來自以語義理解與語義匹配為核心技術的新一代搜索架構。通過引入搜索結果，可以為大模型提供時效性強、準確率高的參考信息，更好地滿足用戶需求。
在對話增強方面，基于對話技術和應用積累，文心一言具備記憶機制、上下文理解和對話規(guī)劃能力，實現更好的對話連貫性、合理性和邏輯性。
“百度特有的技術，現在已經應用在文心一言上”，王海峰也坦言，技術有了，但是大模型的訓練的還不夠充分。不過文心大模型建立起人類反饋、獎勵模型和策略優(yōu)化之間的飛輪機制，隨著真實用戶的反饋越來越多，文心一言的效果會越來越好，能力越來越強。
王海峰稱，百度自2010年起開始全面布局人工智能，是全球為數不多、進行全棧布局的人工智能公司。從昆侖芯片、飛槳深度學習平臺、文心大模型到應用，百度在技術棧的各層都有領先業(yè)界的關鍵自研技術，實現了層與層反饋，端到端優(yōu)化。
王海峰強調，飛槳深度學習平臺支撐文心一言效果更好、效率更高、性能更強。對于開發(fā)訓練，飛槳動靜統(tǒng)一的開發(fā)范式，以及自適應分布式架構，可以實現大模型的靈活開發(fā)和高效訓練。在推理部署方面，飛槳支持大模型高效推理，并提供服務化部署能力，包括計算融合、軟硬協(xié)同的稀疏量化、模型壓縮等等。文心大模型加上飛槳深度學習平臺，夯實了產業(yè)智能化基座。隨著文心一言與飛槳平臺的進一步融合發(fā)展，人工智能技術和應用的研發(fā)將越來越標準化、自動化和模塊化，加速人工智能的工業(yè)大生產，同時也反哺文心一言加速迭代進化，落地更多場景和行業(yè)。
免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。
