百川智能與鵬城實(shí)驗(yàn)室開(kāi)展合作，突破國(guó)產(chǎn)算力大模型長(zhǎng)窗口技術(shù)

11月17日消息，百川智能與鵬城實(shí)驗(yàn)室宣布攜手探索大模型訓(xùn)練和應(yīng)用，合作研發(fā)基于國(guó)產(chǎn)算力的128K長(zhǎng)窗口大模型“鵬城-百川?腦海33B”。這是國(guó)產(chǎn)算力大模型創(chuàng)新與落地的一次實(shí)踐，對(duì)國(guó)產(chǎn)算力大模型發(fā)展具有積極示范作用。

百川智能攜手鵬城實(shí)驗(yàn)室助力國(guó)產(chǎn)算力大模型創(chuàng)新

眾所周知，訓(xùn)練大模型需要海量的算力，并且大模型參數(shù)數(shù)量的增長(zhǎng)與算力的平方成正比。大模型性能的競(jìng)爭(zhēng)，一定程度上是算力的比拼。在復(fù)雜多變的國(guó)際環(huán)境下，國(guó)內(nèi)算力供給與需求之間的“鴻溝”持續(xù)擴(kuò)大，國(guó)產(chǎn)化算力已經(jīng)成為國(guó)內(nèi)大模型企業(yè)的必要選擇。

雖然國(guó)內(nèi)諸多企業(yè)在通用AI芯片方面早有布局，在芯片量產(chǎn)、生態(tài)構(gòu)建、應(yīng)用拓展領(lǐng)域也取得了不錯(cuò)進(jìn)展，但基于國(guó)產(chǎn)算力訓(xùn)練大模型，仍面臨著生態(tài)建設(shè)、成本控制、能效比優(yōu)化等阻礙。因此算力完全自主，仍需要芯片廠商、大模型企業(yè)、學(xué)術(shù)科研機(jī)構(gòu)等多方共同努力。

鵬城實(shí)驗(yàn)室表示，鵬城實(shí)驗(yàn)室秉持“國(guó)產(chǎn)算力+自主大模型”的創(chuàng)新理念，依托“鵬城?腦海”開(kāi)源聯(lián)合體，廣泛聯(lián)合企業(yè)、高校和科研院所，致力于通過(guò)開(kāi)源群智的合作模式共享資源，為千行百業(yè)插上人工智能的“翅膀”。百川智能是國(guó)內(nèi)領(lǐng)先的大模型企業(yè)，自成立以來(lái)一直在推動(dòng)大模型研發(fā)和開(kāi)源生態(tài)建設(shè)，其開(kāi)源和閉源模型在同等量級(jí)權(quán)威評(píng)測(cè)中都取得了優(yōu)異成績(jī)。雙方在合作過(guò)程中能夠充分發(fā)揮各自?xún)?yōu)勢(shì)形成合力，更好地滿(mǎn)足我國(guó)不斷增長(zhǎng)的智能化轉(zhuǎn)型需求，助力中國(guó)人工智能產(chǎn)業(yè)快速崛起。

百川智能表示，百川智能希望通過(guò)開(kāi)源、與合作伙伴共創(chuàng)等方式助力中國(guó)大模型創(chuàng)新，繁榮本土大模型生態(tài)。鵬城實(shí)驗(yàn)室作為國(guó)家戰(zhàn)略科技力量的重要組成部分，在國(guó)產(chǎn)算力大模型研發(fā)和應(yīng)用等方面一直處于國(guó)內(nèi)領(lǐng)先位置。本次百川智能與鵬城實(shí)驗(yàn)室合作研發(fā)“鵬城-百川?腦海33B”長(zhǎng)窗口大模型，是國(guó)產(chǎn)算力大模型技術(shù)創(chuàng)新和落地的一次突破。未來(lái)，百川智能將在技術(shù)、算力等諸多維度不斷深化與鵬城實(shí)驗(yàn)室的合作，持續(xù)助力本土大模型創(chuàng)新發(fā)展。

國(guó)產(chǎn)算力最長(zhǎng)上下文窗口，“鵬城-百川?腦海33B”率先實(shí)現(xiàn)國(guó)產(chǎn)算力技術(shù)突破

論壇上，百川智能和鵬城實(shí)驗(yàn)室展示了雙方共同研發(fā)的“鵬城-百川?腦海33B”大模型?！谤i城-百川?腦海33B”的128K長(zhǎng)上下文窗口基于“鵬城云腦”國(guó)產(chǎn)算力平臺(tái)訓(xùn)練，未來(lái)可升級(jí)至192K，是基于國(guó)產(chǎn)算力訓(xùn)練的最長(zhǎng)上下文窗口。

上下文窗口長(zhǎng)度對(duì)模型理解和生成與特定上下文相關(guān)的文本至關(guān)重要，是大模型的核心技術(shù)之一。通常而言，更長(zhǎng)的上下文窗口可以提供更豐富的語(yǔ)義信息、消除歧義，能夠讓模型生成的內(nèi)容更準(zhǔn)確、更流暢。

為了更好地提升“鵬城-百川?腦海33B”上下文窗口長(zhǎng)度和模型整體性能，百川智能和鵬城實(shí)驗(yàn)室對(duì)模型進(jìn)行了全流程優(yōu)化。在數(shù)據(jù)集構(gòu)建方面，采用精細(xì)的數(shù)據(jù)構(gòu)造，實(shí)現(xiàn)了段落、句子粒度的自動(dòng)化數(shù)據(jù)過(guò)濾、選擇、配比，良好的提升了數(shù)據(jù)質(zhì)量；在訓(xùn)練架構(gòu)上，通過(guò)NormHead、max-Z-Loss、dynamic-LR等自研或業(yè)界領(lǐng)先的模型訓(xùn)練優(yōu)化技術(shù)，對(duì)Transformer模塊進(jìn)行深度優(yōu)化，確保模型收斂穩(wěn)定的同時(shí)，全面提升了模型優(yōu)化效率和最終效果；此外，還在全生命周期的模型工具集中，通過(guò)與北京大學(xué)王亦洲、楊耀東老師團(tuán)隊(duì)的合作，首創(chuàng)了帶安全約束的RLHF對(duì)齊技術(shù)，有效提升了模型內(nèi)容生成質(zhì)量和安全性。

未來(lái)，雙方將在國(guó)產(chǎn)算力大模型技術(shù)創(chuàng)新和模型落地等方面繼續(xù)加強(qiáng)合作，并與相關(guān)領(lǐng)域的優(yōu)勢(shì)單位如北京大學(xué)、清華大學(xué)等開(kāi)展協(xié)同創(chuàng)新，助力本土大模型在模型性能、技術(shù)創(chuàng)新方面持續(xù)突破，推動(dòng)本土大模型進(jìn)一步開(kāi)源開(kāi)放，為更多行業(yè)智能化轉(zhuǎn)型提供幫助和支持。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。