原標(biāo)題:讓AI拋棄“小作坊”,擁抱“工業(yè)化”:盤(pán)古大模型究竟是什么?
如果你想要一臺(tái)冰箱,結(jié)果只能買到壓縮機(jī),金屬面板、塑料儲(chǔ)物盒,需要自己進(jìn)行組裝;如果你想要一臺(tái)汽車,結(jié)果拿到一坨橡膠,需要自己從頭造輪胎,你將會(huì)是什么心情?
目前AI開(kāi)發(fā)的狀態(tài)與上面舉的例子很像。熟悉AI的朋友知道,AI應(yīng)用開(kāi)發(fā)是碎片化、定制化的,場(chǎng)景稍有變化就要重新進(jìn)行數(shù)據(jù)處理,海量參數(shù)調(diào)優(yōu),反復(fù)迭代。如果模型達(dá)不到期望的目標(biāo),還要把這個(gè)過(guò)程推倒重來(lái),模型開(kāi)發(fā)周期動(dòng)輒一個(gè)月,甚至數(shù)月。這種耗費(fèi)大量人工的方式說(shuō)明AI開(kāi)發(fā)還處于作坊模式中。
在2021WAIC期間,華為云盤(pán)古預(yù)訓(xùn)練大模型被評(píng)選為大會(huì)的“鎮(zhèn)館之寶”,為AI帶來(lái)了工業(yè)化開(kāi)發(fā)新模式。我們不妨就著“鎮(zhèn)館之寶”四個(gè)字,來(lái)掰扯掰扯盤(pán)古大模型究竟是什么,預(yù)訓(xùn)練模型又與AI工業(yè)化之間存在著怎樣的關(guān)聯(lián)。
2018年GPT 和 BERT的橫空出世,引發(fā)了AI行業(yè)內(nèi)外的共同關(guān)注。NLP領(lǐng)域的大規(guī)模預(yù)訓(xùn)練模型,從邏輯上來(lái)解釋的話,就是采用自監(jiān)督學(xué)習(xí)能力在大規(guī)模算力的支持下學(xué)習(xí)海量參數(shù)的數(shù)據(jù)。這不僅讓NLP算法能力有了革命性突破,還將大量原本需要用戶完成的訓(xùn)練任務(wù)預(yù)先完成。打個(gè)比方,這就像學(xué)校先把各種知識(shí)教給學(xué)生,讓他有了基本的行業(yè)常識(shí),而不是等到進(jìn)入企業(yè)之后再?gòu)念^識(shí)字,從而降低了企業(yè)的培訓(xùn)成本。
如今,大規(guī)模預(yù)訓(xùn)練模型已經(jīng)成為全球主流AI廠商、研究機(jī)構(gòu)的“必備功課”,訓(xùn)練參數(shù)與算力投入量也水漲船高。OpenAI在2020年發(fā)布的GPT-3已經(jīng)達(dá)到了1750億參數(shù)量、上萬(wàn)GPU的驚人訓(xùn)練規(guī)模??梢哉f(shuō),大規(guī)模預(yù)訓(xùn)練模型既要考驗(yàn)廠商的算法創(chuàng)新、調(diào)參與優(yōu)化能力,又是對(duì)數(shù)據(jù)能力、并行計(jì)算能力、網(wǎng)絡(luò)架構(gòu)能力、開(kāi)發(fā)工具和能力的全面大考。想要讓AI在廠商一側(cè)就變成工業(yè)化、標(biāo)準(zhǔn)化的“準(zhǔn)完成品”,需要投入的技術(shù)實(shí)力與產(chǎn)業(yè)資源都遠(yuǎn)超大部分AI產(chǎn)品。
想要“鎮(zhèn)”住AI工業(yè)化中出現(xiàn)的種種挑戰(zhàn),練就真正能解決問(wèn)題的AI大模型,需要同時(shí)具備高效算法、澎湃算力,海量數(shù)據(jù)吞吐能力基礎(chǔ)。
在2021WAIC開(kāi)幕式上,華為輪值董事長(zhǎng)胡厚崑在演講中介紹了盤(pán)古大模型。他認(rèn)為當(dāng)前AI的普及應(yīng)用的瓶頸首先不在技術(shù)上,技術(shù)已經(jīng)有了相當(dāng)?shù)陌l(fā)展,也不在應(yīng)用上,因?yàn)閼?yīng)用的需求都已經(jīng)蓬勃而出了。它的瓶頸在于開(kāi)發(fā)的效率上,現(xiàn)在的開(kāi)發(fā)效率太低,AI應(yīng)用的開(kāi)發(fā)太慢,它嚴(yán)重阻礙了技術(shù)和需求的結(jié)合。
為了提高AI的開(kāi)發(fā)效率,華為云聯(lián)合伙伴推出了盤(pán)古系列預(yù)訓(xùn)練大模型,包括業(yè)界首個(gè)兼具生成與理解能力的中文語(yǔ)言(NLP)大模型和視覺(jué)(CV)大模型。
想要具體感知到華為云盤(pán)古大模型的能力,我們到WAIC的展館中一探究竟。盤(pán)古大模型在現(xiàn)場(chǎng)展示了成語(yǔ)填空、閱讀理解、快速分類三種能力。甚至連 “明明明明明白白白喜歡他,但他就是不說(shuō)”這種奇葩句子,盤(pán)古大模型也能判斷出“白白喜歡誰(shuí)?”“誰(shuí)喜歡明明?”等問(wèn)題。
優(yōu)質(zhì)的大模型需要三個(gè)核心能力,即:可以吸收海量數(shù)據(jù)的超大型神經(jīng)網(wǎng)絡(luò)、強(qiáng)壯的網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)秀的泛化能力。華為云盤(pán)古預(yù)訓(xùn)練大模型除此之外,還有哪些獨(dú)特優(yōu)勢(shì)呢?
首先,盤(pán)古預(yù)訓(xùn)練大模型擁有領(lǐng)先的技術(shù)創(chuàng)新。
盤(pán)古NLP大模型首次使用Encoder-Decoder架構(gòu),兼顧NLP理解與生成的能力,且性能領(lǐng)先;在NLPCC生成任務(wù)上,Rouge score取得第一,比第二名提升60% 以上。該架構(gòu)多任務(wù)學(xué)習(xí)的方法,能夠讓大模型訓(xùn)練更加穩(wěn)定;同時(shí)基于提示的微調(diào), 能夠在小樣本學(xué)習(xí)上超越GPT系列。訓(xùn)練盤(pán)古NLP大模型使用了40TB的文本數(shù)據(jù),包含了大量的通用知識(shí),同時(shí)也沉淀了華為云的許多行業(yè)經(jīng)驗(yàn)。盤(pán)古CV大模型在業(yè)界首次實(shí)現(xiàn)了模型的按需抽取,不同部署場(chǎng)景下抽取出的模型體積差異,動(dòng)態(tài)范圍可達(dá)三個(gè)數(shù)量級(jí);提出的基于樣本相似度的對(duì)比學(xué)習(xí),憑借小樣本學(xué)習(xí)能力在ImageNet上取得了業(yè)界領(lǐng)先的成績(jī)。
其次,盤(pán)古預(yù)訓(xùn)練大模型擁有豐富的技術(shù)沉淀及應(yīng)用實(shí)踐。
盤(pán)古預(yù)訓(xùn)練大模型已經(jīng)在多個(gè)行業(yè)、100多個(gè)場(chǎng)景成功驗(yàn)證,包括能源、零售、金融、工業(yè)、醫(yī)療、環(huán)境、物流等等。其中,在能源領(lǐng)域,盤(pán)古預(yù)訓(xùn)練大模型幫助行業(yè)客戶實(shí)現(xiàn)設(shè)備能耗的智能控制,可以節(jié)約電力成本50%;在金融行業(yè)中的異常財(cái)務(wù)檢測(cè),讓模型精度提升20%以上; 在塵肺檢測(cè)中,病例識(shí)別準(zhǔn)確率提升22%等等。
盤(pán)古已經(jīng)在近百個(gè)行業(yè)場(chǎng)景中進(jìn)行了應(yīng)用,未來(lái),華為云盤(pán)古預(yù)訓(xùn)練大模型還將上線華為云AI資產(chǎn)共享社區(qū)(AI Gallery),將AI能力進(jìn)一步開(kāi)放出來(lái)。
既名“盤(pán)古”,便應(yīng)該去開(kāi)辟一些什么。翻過(guò)AI工業(yè)化的山丘,彼端每一家企業(yè)、每一位開(kāi)發(fā)者的心中都應(yīng)該有一個(gè)“盤(pán)古”。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 華為研發(fā)中心入駐上海青浦致小鎮(zhèn)房租大漲,帶動(dòng)周邊租房市場(chǎng)熱潮
- 華為員工涌入蘇滬兩地,房東狂歡:租金幾近翻倍,跨省租房成新常態(tài)
- 制造業(yè)巨頭空客計(jì)劃裁員2500人,應(yīng)對(duì)航天業(yè)務(wù)虧損與供應(yīng)鏈挑戰(zhàn)
- 科技創(chuàng)新引領(lǐng)產(chǎn)業(yè)發(fā)展:江陰市與清華大學(xué)攜手推進(jìn)重大科技項(xiàng)目
- 美國(guó)或再升級(jí)出口管制:考慮限制AI芯片對(duì)中東出口
- 劉強(qiáng)東章澤天報(bào)案:京東發(fā)言人證實(shí)夫婦倆遭有組織造謠,警方已介入
- 東方甄選擬15億出售教育業(yè)務(wù)
- 虧764億上熱搜 蔚來(lái)裁員10%,銷量跌出前三
- IBM設(shè)立5億元AI創(chuàng)投基金
- 聯(lián)想發(fā)布 ThinkStation P8工作站
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。