智源發(fā)布全球最大預(yù)訓(xùn)練模型“悟道2.0” ，智譜AI等多家機(jī)構(gòu)聯(lián)合研發(fā)

6月3日消息，2021北京智源大會(huì)舉辦首日，智源研究院學(xué)術(shù)副院長、清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系長聘教授、計(jì)算機(jī)系副主任唐杰發(fā)布全球最大預(yù)訓(xùn)練模型“悟道2.0”，該模型規(guī)模參數(shù)達(dá)1.75萬億。“悟道2.0”由智源牽頭研發(fā)，北京智譜華章科技有限公司（以下簡稱智譜AI）作為骨干參與，并主要開發(fā)了“悟道2.0”的平臺(tái)應(yīng)用生態(tài)。其中，智源、智譜AI和小冰公司聯(lián)合開發(fā)的虛擬學(xué)生華智冰引起了廣泛關(guān)注。

“悟道2.0”還取得了多項(xiàng)世界級(jí)的創(chuàng)新突破，在預(yù)訓(xùn)練模型架構(gòu)、微調(diào)算法、高效預(yù)訓(xùn)練框架方面實(shí)現(xiàn)了原始理論創(chuàng)新，在世界公認(rèn)的人工智能能力排名榜單上，取得9項(xiàng)能力的領(lǐng)先地位。 “悟道”預(yù)訓(xùn)練模型是由唐杰領(lǐng)銜，來自智譜AI、北京智源人工智能研究院、小冰公司等單位的100余位AI科學(xué)家團(tuán)隊(duì)聯(lián)合攻關(guān)完成。今年3月22日，智源曾發(fā)布了“悟道1.0”，2個(gè)多月后，悟道進(jìn)化到2.0。

“悟道2.0”特征：最大、最準(zhǔn)、通用、國產(chǎn)

唐杰介紹，“悟道”的定位，從一開始就不止要做“中國第一”，而是瞄向世界頂尖水平，讓機(jī)器像人一樣思考，邁向通用人工智能。

“悟道2.0”參數(shù)達(dá)到1.75萬億，打破了此前谷歌 Switch Transformer 預(yù)訓(xùn)練模型創(chuàng)造的 1.6 萬億參數(shù)記錄，也超過OpenAI開發(fā)的第三代生成式預(yù)訓(xùn)練Transformer（GPT-3）10倍，是全球最大預(yù)訓(xùn)練模型。而通常AI科學(xué)界認(rèn)為模型參數(shù)越大，意味著通用人工智能潛能越強(qiáng)。尤其值得一提是，“悟道2.0”這個(gè)世界最大萬億模型，完全基于國產(chǎn)超算 GPU 平臺(tái)打造。

為什么新一代“全球最大”預(yù)訓(xùn)練模型會(huì)出現(xiàn)在智源與智譜AI團(tuán)隊(duì)？唐杰表示，團(tuán)隊(duì)開創(chuàng)的FastMoE技術(shù)，打破了國外MoE技術(shù)存在的限制瓶頸，是實(shí)現(xiàn)“萬億模型”基石的關(guān)鍵。

FastMoE作為首個(gè)支持PyTorch框架的MoE系統(tǒng)，具有易用性強(qiáng)、靈活性好、訓(xùn)練速度快的優(yōu)勢，可在不同規(guī)模的計(jì)算機(jī)或集群上支持研究者探索不同的MoE模型在不同領(lǐng)域的應(yīng)用。相比直接使用PyTorch實(shí)現(xiàn)的版本，提速47倍。

FastMoE可以支持NoisyGate、GShard、Swith Transformer等復(fù)雜均衡策略，支持不同專家不同模型，目前已基于阿里 PAI 平臺(tái)，亦在國產(chǎn)神威眾核超算平臺(tái)成功部署。

精準(zhǔn)方面，悟道 2.0也取得了亮眼的成績，在 ImageNet、LAMA、LAMBADA、SuperGLUE、MSCOCO 等項(xiàng)目都取得了突破，獲得了9項(xiàng)任務(wù)上的 SOTA。目前悟道2.0在問答、繪畫、作詩、視頻等任務(wù)中都已逼近圖靈測試。

大規(guī)模預(yù)訓(xùn)練模型的參數(shù)規(guī)模通常遠(yuǎn)超傳統(tǒng)的專用人工智能模型，在算力資源、訓(xùn)練時(shí)間等方面消耗巨大。為了提升大規(guī)模預(yù)訓(xùn)練模型的產(chǎn)業(yè)普適性和易用性，悟道團(tuán)隊(duì)搭建高效預(yù)訓(xùn)練框架，實(shí)現(xiàn)了全鏈路的原創(chuàng)突破或迭代優(yōu)化，預(yù)訓(xùn)練效率大幅提升。

唐杰介紹，悟道 2.0預(yù)訓(xùn)練框架具有“五個(gè)高效”特點(diǎn)：高效編碼、高效模型、高效訓(xùn)練、高效微調(diào)、高效推理，它真正面向產(chǎn)業(yè)界的應(yīng)用。悟道 2.0預(yù)訓(xùn)練框架還整合了全球最大的中文語料庫WuDaoCorpora，包括最大中文文本數(shù)據(jù)集、多模態(tài)數(shù)據(jù)集與中文對(duì)話數(shù)據(jù)集。

唐杰稱悟道完全開源，任何企業(yè)、開發(fā)者拿到悟道 2.0預(yù)訓(xùn)練框架以后，可以非?？斓剡M(jìn)行部署，然后應(yīng)用在實(shí)際業(yè)務(wù)中。目前，悟道 2.0已經(jīng)與美團(tuán)、小米、快手、360、搜狗、寒武紀(jì)、第四范式、推想科技、好未來、小冰科技等達(dá)成合作共建模型生態(tài)。

聯(lián)合智譜AI和小冰團(tuán)隊(duì)共同打造首位虛擬學(xué)生“華智冰”

虛擬學(xué)生“華智冰”

現(xiàn)場，唐杰還介紹了一位自己的新學(xué)生-“華智冰”。

“華智冰”是以悟道為內(nèi)核，以智譜AI的知識(shí)數(shù)據(jù)雙輪驅(qū)動(dòng)框架和小冰公司全球領(lǐng)先的人工智能完備框架為基礎(chǔ)開發(fā)的虛擬數(shù)字人，是中國首個(gè)原創(chuàng)的全科虛擬學(xué)生。華智冰將師從唐杰，開啟在清華大學(xué)計(jì)算機(jī)系知識(shí)工程實(shí)驗(yàn)室的學(xué)習(xí)和研究生涯，接受智源、智譜AI和小冰公司的聯(lián)合培養(yǎng)。

華智冰由三方共同研發(fā)打造，同時(shí)，智譜AI還為虛擬學(xué)生提供了融合知識(shí)和數(shù)據(jù)的雙輪驅(qū)動(dòng)人工智能系統(tǒng)，讓她具有一定的認(rèn)知和推理能力。小冰則提供了全球領(lǐng)先的人工智能完備框架，同時(shí)負(fù)責(zé)聲音、形象的開發(fā)應(yīng)用。智譜.AI依托清華大學(xué)團(tuán)隊(duì)十余年在知識(shí)智能方面的積累和人才優(yōu)勢，構(gòu)造了高質(zhì)量大規(guī)模知識(shí)圖譜，致力于打造可解釋、魯棒、安全可靠、具有推理能力的新一代認(rèn)知引擎，談到對(duì)新學(xué)生華智冰的培養(yǎng)目標(biāo)，唐杰稱，從感知智能向認(rèn)知智能時(shí)代邁進(jìn)，我們希望這個(gè)數(shù)字人在多項(xiàng)認(rèn)知智能上超過人，她不僅僅識(shí)別圖像，還應(yīng)該有創(chuàng)造能力。比如可以創(chuàng)造詩、作畫，甚至回答一些數(shù)學(xué)問題。

先來看看華智冰同學(xué)的繪畫和詩作能力。

因?yàn)槿A智冰是到計(jì)算機(jī)系學(xué)習(xí)，唐杰也表示，那她應(yīng)該還要會(huì)編程，下一步給她一個(gè)任務(wù)，能自動(dòng)設(shè)計(jì)出網(wǎng)頁的板塊或者項(xiàng)目架構(gòu)設(shè)計(jì)，還能把里面的代碼填滿，讓代碼運(yùn)行正常等待，這些是我們未來對(duì)華智冰的一些期望。當(dāng)然這個(gè)過程中不是一天就來了，是慢慢成長的過程，

一位多才多藝的清華同學(xué)，請期待！

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。