百川智能發(fā)布Baichuan-13B，開啟中國開源大模型商業(yè)化時代

7月11日消息，11日，百川智能正式發(fā)布參數(shù)量130億的通用大語言模型Baichuan-13B-Base、對話模型Baichuan-13B-Chat及其INT4/INT8兩個量化版本。

未來大模型生態(tài)開源閉源并存已經(jīng)是不爭的事實，如同iOS與安卓。目前，以GPT-4為代表的超大參數(shù)量閉源模型和100億-200億參數(shù)量開源模型是大模型生態(tài)鏈中兩個最佳實踐。

GPT-4固然能力強大，但閉源會要求企業(yè)訪問公網(wǎng)以及難以定制化適配，使用場景受限。而開源能夠使企業(yè)輕松地借助專有數(shù)據(jù)進行微調(diào)和私有化部署，進而促進百行千業(yè)的良性發(fā)展生態(tài)。

Baichuan-13B中英文大模型集高性能、完全開源、免費可商用等諸多優(yōu)勢于一身，是目前所有33B以下尺寸開源模型中效果最好的可商用大語言模型。

在國外已建立起閉源及開源大模型完整生態(tài)的背景下，彌補了國內(nèi)高品質(zhì)開源商業(yè)模型的不足，對助力中國大模型產(chǎn)業(yè)發(fā)展和技術(shù)進步都具有重要意義。

這是百川智能發(fā)布的第二款通用大語言模型，而在前不久的6月15日，百川智能就已經(jīng)推出了首款70億參數(shù)量的中英文語言模型Baichuan-7B，并一舉拿下多個世界權(quán)威Benchmark榜單同量級測試榜首。

預(yù)訓(xùn)練模型“底座”因其靈活的可定制性，適合具有一定開發(fā)能力的開發(fā)者和企業(yè)，而普通用戶則更關(guān)注具有對話功能的對齊模型。因此百川智能在發(fā)布預(yù)訓(xùn)練模型Baichuan-13B-Base的同時還發(fā)布了其對話模型Baichuan-13B-Chat，Baichuan-13B-Chat部署簡單、開箱即用，極大降低了開發(fā)者的體驗成本。

相比此前發(fā)布的Baichuan-7B，Baichuan-13B在1.4萬億token數(shù)據(jù)集上訓(xùn)練，超過LLaMA-13B 40%，是當(dāng)前開源13B尺寸下訓(xùn)練數(shù)據(jù)量最大的模型，在語言模型中，上下文窗口長度對于理解和生成與特定上下文相關(guān)的文本至關(guān)重要。

Baichuan-13B上下文窗口長度為4096，不同于Baichuan-7B的RoPE編碼方式，Baichuan-13B使用了ALiBi位置編碼技術(shù)，能夠處理長上下文窗口，甚至可以推斷超出訓(xùn)練期間讀取數(shù)據(jù)的上下文長度，從而能夠更好的捕捉文本中上下文的相關(guān)性，做出更準(zhǔn)確的預(yù)測或生成。

作為一款中英文雙語大模型，Baichuan-13B采用了相對平衡的中英文語料配比和多語言對齊語料，從而在中英兩種語言上表現(xiàn)均很優(yōu)異。在同等參數(shù)量的開源模型中堪稱實力擔(dān)當(dāng)，能更好滿足商業(yè)化場景需求。

中文領(lǐng)域，在權(quán)威評測C-EVAL中，Baichuan-13B性能一騎絕塵，在自然科學(xué)、醫(yī)學(xué)、藝術(shù)、數(shù)學(xué)等領(lǐng)域大幅領(lǐng)先LLaMA-13B、Vicuna-13B等同尺寸的大語言模型，在社會科學(xué)、人文科學(xué)等領(lǐng)域甚至超越了ChatGPT。

英文領(lǐng)域，其表現(xiàn)同樣優(yōu)秀，在英文最權(quán)威的榜單MMLU上，Baichuan-13B超過了所有同尺寸開源模型，并且在各個維度都具有顯著優(yōu)勢。

必須要說的是，有些模型為了能在評測中取得更好的成績，會在基座模型和對話模型上引入較多針對benchmark的優(yōu)化。此舉雖然可以在榜單上獲取更高的分?jǐn)?shù)，但是沒有本質(zhì)地提升模型的基礎(chǔ)能力，并且在下游任務(wù)中易產(chǎn)生回復(fù)長度短、質(zhì)量低的問題，造成高分低能的現(xiàn)象。

百川智能的Baichuan-13B-Base和Baichuan-13B-Chat未針對任何benchmark測試進行專項優(yōu)化，保證了模型的純凈度，具有更高的效能和可定制性。

眾所周知大模型的訓(xùn)練成本極高，在海量算力的成本壓力下OpenAI和谷歌都選擇了閉源來保證自家大模型的優(yōu)勢地位。但是從計算機科學(xué)與人工智能的發(fā)展歷程來看，開源始終對軟件技術(shù)乃至IT技術(shù)發(fā)展有著巨大的推動作用。?

大模型時代，Meta率先走上了開源的道路，LLaMA基座開源之后因其出色的性能，迅速吸引了大量開發(fā)者。在其基礎(chǔ)上開發(fā)了各種ChatGPT開源替代品，并且以極低的訓(xùn)練成本屢次達到匹敵GPT-3.5的性能，極大激發(fā)了開源模型的創(chuàng)新活力。

未來大模型生態(tài)閉源與開源并存已是行業(yè)共識。憑借閉源路線的GPT、Palm2以及開源路線的LLaMA，美國在大模型領(lǐng)域已經(jīng)構(gòu)建起了完整的生態(tài)。

盡管中文世界不乏優(yōu)秀的開發(fā)者、出色的創(chuàng)新能力和廣泛的應(yīng)用場景，但由于缺少高性能和高定制性的開源基座模型，在大語言模型領(lǐng)域的相關(guān)研究和應(yīng)用上仍存在較大的挑戰(zhàn)。中國急需優(yōu)質(zhì)開源可商用大模型補齊相關(guān)領(lǐng)域的空白，與開發(fā)者和企業(yè)共同推動中國人工智能應(yīng)用的創(chuàng)新生態(tài)發(fā)展。

作為同級最好的開源可商用中英文預(yù)訓(xùn)練語言模型，Baichuan-13B-Base 不僅對學(xué)術(shù)研究完全開放，所有開發(fā)者均可通過郵件向百川智能申請授權(quán)，在獲得官方商用許可后即可免費商用。

并且，為了盡可能降低模型的使用門檻，百川智能同時開源了Baichuan-13B-Chat的INT8和INT4兩個量化版本，在近乎無損的情況下可以很方便的將模型部署在如3090等消費級顯卡上。

本次百川智能發(fā)布的Baichuan-13B中英文大語言模型，憑借百億參數(shù)量已經(jīng)展現(xiàn)出可以媲美千億模型的能力，大大降低企業(yè)部署和調(diào)試的使用成本，讓中國開源大模型商業(yè)化進入真正可用階段。Baichuan-13B的開源，實現(xiàn)了國內(nèi)開源大模型對美國大模型開源領(lǐng)域的追趕，改變了此前國內(nèi)在相關(guān)領(lǐng)域一直落后的局面。

同時，其開源模型的代碼完全公開，所有人都可以隨時查看，算法透明，不僅有利于研究人員深入探索和研究模型原理，并且有利于建立和深化公眾對大模型的信任。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。