11月6日消息，李開復(fù)博士帶隊(duì)創(chuàng)辦的AI 2.0公司零一萬物，正式開源發(fā)布首款預(yù)訓(xùn)練大模型 Yi-34B。
根據(jù) Hugging Face 英文開源社區(qū)平臺(tái)和C-Eval 中文評(píng)測(cè)的最新榜單，Yi-34B預(yù)訓(xùn)練模型以黑馬姿態(tài)取得了多項(xiàng) SOTA 國(guó)際最佳性能指標(biāo)認(rèn)可，成為全球開源大模型“雙料冠軍”，這也是迄今為止唯一成功登頂 Hugging Face 全球開源模型排行榜的國(guó)產(chǎn)模型。
零一萬物創(chuàng)始人及CEO李開復(fù)博士表示：“零一萬物堅(jiān)定進(jìn)軍全球第一梯隊(duì)目標(biāo)，從招的第一個(gè)人，寫的第一行代碼，設(shè)計(jì)的第一個(gè)模型開始，就一直抱著成為‘World's No.1’的初衷和決心。我們組成了一支有潛力對(duì)標(biāo) OpenAI、Google等一線大廠的團(tuán)隊(duì)，經(jīng)歷了近半年的厚積薄發(fā)，以穩(wěn)定的節(jié)奏和全球齊平的研究工程能力，交出了第一張極具全球競(jìng)爭(zhēng)力的耀眼成績(jī)單。Yi-34B可以說不負(fù)眾望，一鳴驚人?！?/p>
Yi-34B 登頂全球英文及中文權(quán)威榜單No.1
零一萬物此次開源發(fā)布的Yi系列模型，包含34B和6B兩個(gè)版本。讓人驚艷的是，在Hugging Face 英文測(cè)試公開榜單 Pretrained 預(yù)訓(xùn)練開源模型排名中，Yi-34B 在各項(xiàng)性能上表現(xiàn)強(qiáng)勁，以70.72的分?jǐn)?shù)位列全球第一，碾壓 LLaMA2-70B和 Falcon-180B等眾多大尺寸模型。
Hugging Face 是全球最受歡迎的大模型、數(shù)據(jù)集開源社區(qū)，被認(rèn)為是大模型領(lǐng)域的GitHub，在大模型英文能力測(cè)試中具有相當(dāng)權(quán)威性。對(duì)比參數(shù)量和性能，Yi-34B相當(dāng)于只用了不及LLaMA2-70B一半、Falcon-180B五分之一的參數(shù)量，取得了在各項(xiàng)測(cè)試任務(wù)中超越全球領(lǐng)跑者的成績(jī)。憑借出色表現(xiàn)，躋身目前世界范圍內(nèi)開源最強(qiáng)基礎(chǔ)模型之列。
Hugging Face Open LLM Leaderboard (pretrained) 大模型排行榜，Yi-34B高居榜首（2023年11月5日）
作為國(guó)產(chǎn)優(yōu)質(zhì)大模型， Yi-34B更“懂”中文。在C-Eval中文權(quán)威榜單排行榜上超越了全球所有開源模型。對(duì)比大模型標(biāo)桿GPT-4，在CMMLU、E-Eval、Gaokao 三個(gè)主要的中文指標(biāo)上，Yi-34B 也具有絕對(duì)優(yōu)勢(shì)，凸顯中文世界的優(yōu)異能力，更好地滿足國(guó)內(nèi)市場(chǎng)需求。
C-Eval 排行榜：公開訪問的模型，Yi-34B 全球第一（2023年11月5日）
從更為全面的評(píng)估看，在全球大模型各項(xiàng)評(píng)測(cè)中最關(guān)鍵的 “MMLU”（Massive Multitask Language Understanding 大規(guī)模多任務(wù)語言理解）、BBH等反映模型綜合能力的評(píng)測(cè)集上，Yi-34B 同樣表現(xiàn)突出，在通用能力、知識(shí)推理、閱讀理解等多項(xiàng)指標(biāo)評(píng)比中全部勝出，與 Hugging Face 評(píng)測(cè)高度一致。
各評(píng)測(cè)集得分：Yi 模型 v.s. 其他開源模型
但和 LLaMA2一樣，Yi系列模型在GSM8k、MBPP 的數(shù)學(xué)和代碼評(píng)測(cè)表現(xiàn)略遜GPT模型。由于零一萬物的技術(shù)路線傾向于在預(yù)訓(xùn)練階段盡可能保留模型的通用能力，因此沒有加入過多的數(shù)學(xué)和代碼數(shù)據(jù)。研究團(tuán)隊(duì)此前在《Mammoth: Building math generalist models through hybrid instruction tuning》等研究工作中針對(duì)數(shù)學(xué)方向進(jìn)行過深度探索，在未來，零一萬物的系列開源計(jì)劃中將推出代碼能力和數(shù)學(xué)能力專項(xiàng)的繼續(xù)訓(xùn)練模型。
全球最長(zhǎng)200K上下文窗口，40萬字文本極速處理，直接開源
值得注意的是，此次開源的Yi-34B模型，將發(fā)布全球最長(zhǎng)、可支持200K 超長(zhǎng)上下文窗口（context window）版本，可以處理約40萬漢字超長(zhǎng)文本輸入。相比之下，OpenAI的GPT-4上下文窗口只有32K，文字處理量約2.5萬字。今年三月，硅谷知名 AI 2.0 創(chuàng)業(yè)公司Anthropic的Claude2-100K 將上下文窗口擴(kuò)展到了100K規(guī)模，零一萬物直接加倍，并且是第一家將超長(zhǎng)上下文窗口在開源社區(qū)開放的大模型公司。
在語言模型中，上下文窗口是大模型綜合運(yùn)算能力的金指標(biāo)之一，對(duì)于理解和生成與特定上下文相關(guān)的文本至關(guān)重要，擁有更長(zhǎng)窗口的語言模型可以處理更豐富的知識(shí)庫信息，生成更連貫、準(zhǔn)確的文本。
此外，在文檔摘要、基于文檔的問答等下游任務(wù)中，長(zhǎng)上下文的能力發(fā)揮著關(guān)鍵作用，行業(yè)應(yīng)用場(chǎng)景廣闊。在法律、財(cái)務(wù)、傳媒、檔案整理等諸多垂直場(chǎng)景里，更準(zhǔn)確、更連貫、速度更快的長(zhǎng)文本窗口功能，可以成為人們更可靠的AI助理，讓生產(chǎn)力迅猛提升。然而，受限于計(jì)算復(fù)雜度、數(shù)據(jù)完備度等問題，上下文窗口規(guī)模擴(kuò)充從計(jì)算、內(nèi)存和通信的角度存在各種挑戰(zhàn)，因此大多數(shù)發(fā)布的大型語言模型僅支持幾千tokens的上下文長(zhǎng)度。
為了解決這個(gè)限制，零一萬物技術(shù)團(tuán)隊(duì)實(shí)施了一系列優(yōu)化，包括：計(jì)算通信重疊、序列并行、通信壓縮等。通過這些能力增強(qiáng)，實(shí)現(xiàn)了在大規(guī)模模型訓(xùn)練中近100倍的能力提升，也為Yi系列模型上下文規(guī)模下一次躍升儲(chǔ)備了充足“電力”。
Yi-34B的200K上下文窗口直接開源，不僅能提供更豐富的語義信息，理解超過1000頁的PDF文檔，讓很多依賴于向量數(shù)據(jù)庫構(gòu)建外部知識(shí)庫的場(chǎng)景，都可以用上下文窗口來進(jìn)行替代。Yi-34B的開源屬性也給想要在更長(zhǎng)上下文窗口進(jìn)行微調(diào)的開發(fā)者提供了更多的可能性。
AI Infra 是大模型核心護(hù)城河，實(shí)測(cè)實(shí)現(xiàn)40%訓(xùn)練成本下降
AI Infra（AI Infrastructure 人工智能基礎(chǔ)架構(gòu)技術(shù)）主要涵蓋大模型訓(xùn)練和部署提供各種底層技術(shù)設(shè)施，包括處理器、操作系統(tǒng)、存儲(chǔ)系統(tǒng)、網(wǎng)絡(luò)基礎(chǔ)設(shè)施、云計(jì)算平臺(tái)等等，是模型訓(xùn)練背后極其關(guān)鍵的“保障技術(shù)”，這是大模型行業(yè)至今較少受到關(guān)注的硬技術(shù)領(lǐng)域。
李開復(fù)曾經(jīng)表示，“做過大模型Infra的人比做算法的人才更稀缺”。在打造“World's No.1"梯隊(duì)時(shí)，超強(qiáng)的Infra 能力是大模型研發(fā)的核心護(hù)城河之一。如果說訓(xùn)練大模型是登山，Infra的能力定義了大模型訓(xùn)練算法和模型的能力邊界，也就是“登山高度”的天花板。在芯片、GPU等算力資源緊缺的當(dāng)下，安全和穩(wěn)定成為大模型訓(xùn)練的生命線。零一萬物的 Infra 技術(shù)通過“高精度”系統(tǒng)、彈性訓(xùn)和接力訓(xùn)等全棧式解決方案，確保訓(xùn)練高效、安全地進(jìn)行。
憑借強(qiáng)大的 AI Infra 支撐，零一萬物團(tuán)隊(duì)能實(shí)現(xiàn)超越行業(yè)水平的訓(xùn)練效果，Yi-34B模型訓(xùn)練成本實(shí)測(cè)下降40%，實(shí)際訓(xùn)練完成達(dá)標(biāo)時(shí)間與預(yù)測(cè)的時(shí)間誤差不到一小時(shí)，進(jìn)一步模擬上到千億規(guī)模訓(xùn)練成本可下降多達(dá)50%。截至目前，零一萬物Infra能力實(shí)現(xiàn)故障預(yù)測(cè)準(zhǔn)確率超過90%，故障提前發(fā)現(xiàn)率達(dá)到99.9%，不需要人工參與的故障自愈率超過95%，有力保障了模型訓(xùn)練的順暢進(jìn)行。
在 Yi 開源模型的全球首發(fā)日，零一萬物CEO李開復(fù)也宣布，在完成 Yi-34B 預(yù)訓(xùn)練的同時(shí)，已經(jīng)旋即啟動(dòng)下一個(gè)千億參數(shù)模型的訓(xùn)練。“零一萬物的數(shù)據(jù)處理管線、算法研究、實(shí)驗(yàn)平臺(tái)、GPU 資源和 AI Infra 都已經(jīng)準(zhǔn)備好，我們的動(dòng)作會(huì)越來越快”。
深研“規(guī)模化訓(xùn)練實(shí)驗(yàn)平臺(tái)”，從“粗放煉丹”進(jìn)階到 “科學(xué)訓(xùn)?！?/strong>
耀眼成績(jī)的取得，源于零一萬物潛心數(shù)月練就的大模型 “科學(xué)訓(xùn)?！狈椒ㄕ?。
眾所周知，大模型效果依賴于更多、更高質(zhì)量的數(shù)據(jù)，零一萬物在數(shù)據(jù)處理管線上可謂“不惜成本”。由前Google大數(shù)據(jù)和知識(shí)圖譜專家領(lǐng)銜的數(shù)據(jù)團(tuán)隊(duì)，憑對(duì)數(shù)據(jù)的深度理解與認(rèn)知，結(jié)合大量數(shù)據(jù)處理實(shí)驗(yàn)，建設(shè)了高效、自動(dòng)、可評(píng)價(jià)、可擴(kuò)展的智能數(shù)據(jù)處理管線。
不僅如此，經(jīng)過幾個(gè)月大量的建模和實(shí)驗(yàn)，零一萬物自研出一套“規(guī)?；?xùn)練實(shí)驗(yàn)平臺(tái)”，用來指導(dǎo)模型的設(shè)計(jì)和優(yōu)化。數(shù)據(jù)配比、超參搜索、模型結(jié)構(gòu)實(shí)驗(yàn)都可以在小規(guī)模實(shí)驗(yàn)平臺(tái)上進(jìn)行，對(duì)34B模型每個(gè)節(jié)點(diǎn)的預(yù)測(cè)誤差都可以控制在0.5%以內(nèi)。掌握了更強(qiáng)的模型預(yù)測(cè)能力，從而大大減少了進(jìn)行對(duì)比實(shí)驗(yàn)需要的資源，也減少了訓(xùn)練誤差對(duì)于計(jì)算資源的浪費(fèi)。
數(shù)據(jù)處理管線和加大規(guī)模預(yù)測(cè)的訓(xùn)練能力建設(shè)，把以往的大模型訓(xùn)練碰運(yùn)氣的“煉丹”過程變得極度細(xì)致和科學(xué)化，不僅保證了目前發(fā)布Yi-34B、Yi-6B模型的高性能，也為未來更大規(guī)模模型的訓(xùn)練壓縮了時(shí)間和成本，有能力以領(lǐng)先于行業(yè)的速度，將模型規(guī)?！敖z滑”擴(kuò)大到數(shù)倍。
零一萬物團(tuán)隊(duì)首度亮相，臥虎藏龍齊聚行業(yè)巨頭人才
零一萬物的團(tuán)隊(duì)臥虎藏龍，成員來自Google、微軟、阿里巴巴、百度、字節(jié)跳動(dòng)、騰訊等國(guó)內(nèi)外頂級(jí)企業(yè)背景，并持續(xù)延攬全球范圍內(nèi)最優(yōu)秀的華人AI精英。
零一萬物算法和模型團(tuán)隊(duì)成員，有論文曾被GPT-4引用的算法大拿，有獲得過微軟內(nèi)部研究大獎(jiǎng)的優(yōu)秀研究員，曾獲得過阿里CEO特別獎(jiǎng)的超級(jí)工程師。總計(jì)在ICLR、NeurIPS、CVPR、ICCV等知名學(xué)術(shù)會(huì)議上發(fā)表過大模型相關(guān)學(xué)術(shù)論文100余篇。
零一萬物技術(shù)副總裁及AI Alignment負(fù)責(zé)人是 Google Bard/Assistant 早期核心成員，主導(dǎo)或參與了從 Bert、LaMDA 到大模型在多輪對(duì)話、個(gè)人助理、AI Agent 等多個(gè)方向的研究和工程落地；首席架構(gòu)師曾在Google Brain與Jeff Dean、Samy Bengio等合作，為TensorFlow的核心創(chuàng)始成員之一。
首次發(fā)布的背后主力戰(zhàn)將，零一萬物技術(shù)副總裁及 Pretrain 負(fù)責(zé)人黃文灝是通用人工智能 AGI 的信仰者，他曾先后任職于微軟亞洲研究院和智源研究院。 在微軟從事AI Agent研究工作時(shí)，得到微軟創(chuàng)始人比爾?蓋茨和CEO 薩提亞?納德拉的高度贊揚(yáng)。
而支持 Yi 模型訓(xùn)練保障交付的零一萬物技術(shù)副總裁及AI Infra負(fù)責(zé)人戴宗宏，是前華為云 AI CTO 及技術(shù)創(chuàng)新部長(zhǎng)、前阿里達(dá)摩院 AI Infra 總監(jiān)。Infra核心團(tuán)隊(duì)主要來自于阿里、華為、微軟、商湯，是AI 多領(lǐng)域具有高水平研究及系統(tǒng)研發(fā)能力的頂尖專家，曾經(jīng)參與支持了4個(gè)千億參數(shù)大模型規(guī)?；?xùn)練，管理過數(shù)萬張GPU卡，夯實(shí)了端到端的全棧AI技術(shù)能力，零一萬物可說是具備一支行業(yè)內(nèi)少有的 AI Infra “技術(shù)天團(tuán)”。
打造更多ToC Super App，培育新型“AI-first”創(chuàng)新生態(tài)
零一萬物認(rèn)為，34B的模型尺寸在開源社區(qū)屬于稀缺的“黃金比例”尺寸。相比目前開源社區(qū)主流的7B、13B等尺寸，34B模型具備更優(yōu)越的知識(shí)容量、下游任務(wù)的容納能力和多模態(tài)能力，也達(dá)到了大模型 “涌現(xiàn)”的門檻。
在精度上，不少開發(fā)者都表示7B、13B開源模型在很多場(chǎng)景下無法滿足需求，追求更好的性能需要使用30B以上的模型，但一直沒有合適的選擇，高質(zhì)量的Yi-34B的出現(xiàn)，順利解決了開源社群這一剛性需求。
而比起更大的 50B至70B，34B是單卡推理可接受的模型尺寸的上限，訓(xùn)練成本對(duì)開發(fā)者更友好，經(jīng)過量化的模型可以在一張消費(fèi)級(jí)顯卡（如4090）上進(jìn)行高效率的推理，對(duì)開發(fā)者操作服務(wù)部署有很大的優(yōu)勢(shì)。
接下來，零一萬物將基于Yi系列大模型，打造更多To C超級(jí)應(yīng)用。李開復(fù)強(qiáng)調(diào)，“AI 2.0是有史以來最大的科技革命，它帶來的改變世界的最大機(jī)會(huì)一定是平臺(tái)和技術(shù)，正如PC時(shí)代的微軟Office，移動(dòng)互聯(lián)網(wǎng)時(shí)代的微信、抖音、美團(tuán)一樣，商業(yè)化爆發(fā)式增長(zhǎng)概率最高的一定是ToC應(yīng)用。零一萬物邀請(qǐng)開發(fā)者社群跟我們一起搭建Yi開源模型的應(yīng)用生態(tài)系，協(xié)力打造AI 2.0時(shí)代的超級(jí)應(yīng)用?！?/p>
目前，Yi系列模型已在 Hugging Face、ModelScope、GitHub 三大全球開源社區(qū)平臺(tái)正式上線，同時(shí)開放商用申請(qǐng)，給開發(fā)者在使用LLM的過程中提供更多、更優(yōu)質(zhì)的選擇。
本次開源的基座模型包括200K上下文窗口的基座模型，基座模型進(jìn)行了比較均衡的IQ和EQ的配置，保留了后續(xù)進(jìn)行不同方向微調(diào)的可能性。為了能讓語言模型有更好的應(yīng)用效果，廣大開發(fā)者可以基于基座模型進(jìn)行微調(diào)，GitHub 01Yi 開源網(wǎng)頁上已經(jīng)提供了簡(jiǎn)單的微調(diào)代碼，同時(shí)模型和主流語言模型微調(diào)框架兼容，開發(fā)者可以自行進(jìn)行適配。
接下來，零一萬物還將基于Yi 基座模型，快節(jié)奏開源發(fā)布一系列的量化版本、對(duì)話模型、數(shù)學(xué)模型、代碼模型和多模態(tài)模型等，邀請(qǐng)開發(fā)者積極投入，共同促進(jìn)語言模型開源社區(qū)的繁榮發(fā)展，培育新型“AI-first”創(chuàng)新生態(tài)體系。
希望有更多的開發(fā)者使用Yi系列模型，打造自己場(chǎng)景中的“ChatGPT”，引領(lǐng)下一代前沿創(chuàng)新和商業(yè)模型，探索走向通用人工智能的先進(jìn)能力。
- 蜜度索驥：以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 央視新聞《頂級(jí)實(shí)驗(yàn)室》走進(jìn)長(zhǎng)城汽車 解密國(guó)產(chǎn)車為什么更抗造
- 2025年將迎來欺詐行為產(chǎn)業(yè)化與人工智能軍備競(jìng)賽
- 一汽大眾宣布高層調(diào)整：潘占福不再擔(dān)任黨委書記、總經(jīng)理
- 2024年新能源汽車行業(yè)發(fā)展迅猛，關(guān)鍵技術(shù)加速落地
- 周鴻祎談o3大模型：關(guān)于AGI 的定義，可能得改改了
- 小米汽車與蔚來達(dá)成充電補(bǔ)能網(wǎng)絡(luò)合作
- 辛巴淚撒直播間自曝患病
- 美團(tuán)：定制“擦邊騎手服”惡意博流量，將依法追究責(zé)任
- 王化辟謠“小米年底大規(guī)模裁員”：造謠者缺乏起碼的常識(shí)
- 螞蟻集團(tuán)進(jìn)行全面架構(gòu)升級(jí)，CTO線大規(guī)模調(diào)整
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
