“算力使能，開(kāi)放無(wú)限”，2023開(kāi)放數(shù)據(jù)中心峰會(huì)以此為主題，在北京國(guó)際會(huì)議中心成功舉辦。
在大模型時(shí)代的服務(wù)器技術(shù)創(chuàng)新分論壇上，華為昇騰互聯(lián)網(wǎng)首席解決方案架構(gòu)師安寶磊發(fā)表主題演講，對(duì)AI大模型發(fā)展趨勢(shì)及應(yīng)用方向，華為昇騰加速大模型研發(fā)和落地的技術(shù)優(yōu)勢(shì)與生態(tài)發(fā)展進(jìn)行了全面的解讀。
從專用到通用 人工智能進(jìn)入大模型時(shí)代
2022年11月，人工智能模型ChatGPT的發(fā)布，掀起了AI熱潮，也推動(dòng)AI發(fā)展跨越拐點(diǎn)，從“預(yù)測(cè)推斷”走向“內(nèi)容生成”。此前的AI技術(shù)發(fā)展，更多的處于專用領(lǐng)域，即感知理解世界，能夠替代低端的重復(fù)性工作。而隨著ChatGPT，尤其是GPT-4的發(fā)布，AI步入了生成和創(chuàng)造世界的發(fā)展階段，可以在通用領(lǐng)域替代較高端腦力勞動(dòng)工作，不僅會(huì)思考還會(huì)學(xué)習(xí)，主要用于理解和生成。據(jù)了解，GPT-4已初步具備自主學(xué)習(xí)和思考能力，在文本/圖像/音頻/視頻/代碼等腦力勞動(dòng)場(chǎng)景中已達(dá)到人類80%的水平。
當(dāng)人工智能進(jìn)入大模型時(shí)代，隨著AI大模型技術(shù)快速成熟，AI算法與應(yīng)用的開(kāi)發(fā)、上線部署與業(yè)務(wù)發(fā)放等過(guò)程均大幅簡(jiǎn)化，使用門檻大幅降低。在專用領(lǐng)域場(chǎng)景專屬化階段，可稱之為小模型時(shí)代，而隨著越來(lái)越多的場(chǎng)景通用化，一套AI系統(tǒng)可以使能全業(yè)務(wù)流創(chuàng)新，則預(yù)示著大模型時(shí)代的到來(lái)。安寶磊表示，隨著大模型重塑產(chǎn)業(yè)格局，未來(lái)兩年將落地50%+行業(yè)的核心場(chǎng)景?，F(xiàn)階段所面臨的問(wèn)題，在于2C應(yīng)用用戶商業(yè)付費(fèi)挑戰(zhàn)較大，2B應(yīng)用在行業(yè)數(shù)據(jù)積累、模型調(diào)測(cè)和行業(yè)應(yīng)用集成等方面，均需要時(shí)間積累。
從挑戰(zhàn)到創(chuàng)新 昇騰大模型+AI集群構(gòu)筑堅(jiān)實(shí)底座
大模型不僅需要算法，而且需要數(shù)據(jù)處理，軟硬件優(yōu)化、模型開(kāi)發(fā)、應(yīng)用創(chuàng)新的系統(tǒng)工程能力，作為復(fù)雜系統(tǒng)工程，大模型的每個(gè)環(huán)節(jié)都存在著大量工程技術(shù)挑戰(zhàn)，其中最主要的三個(gè)關(guān)鍵挑戰(zhàn)在于：一是如何生成高質(zhì)量的數(shù)據(jù)和高質(zhì)量的模型，在模型選型、架構(gòu)調(diào)整設(shè)計(jì)、技術(shù)驗(yàn)證過(guò)程設(shè)計(jì)方面非常復(fù)雜，試錯(cuò)成本高;二是如何完成大規(guī)模訓(xùn)練和調(diào)優(yōu)工程，大模型訓(xùn)練對(duì)于集群穩(wěn)定性有很高的要求，如果算力平臺(tái)不穩(wěn)定，訓(xùn)練任務(wù)頻繁中斷，訓(xùn)練成果有很大損失;三是如何實(shí)現(xiàn)高效業(yè)務(wù)落地，并確保具備持續(xù)創(chuàng)新能力。對(duì)于部分企業(yè)而言，模型推理資源占用高，AI落地成本高，AI集成進(jìn)入現(xiàn)網(wǎng)業(yè)務(wù)流過(guò)程繁雜，企業(yè)缺乏業(yè)務(wù)流程及組織調(diào)整經(jīng)驗(yàn)。
為解決以上挑戰(zhàn)，華為聯(lián)合伙伴推出了昇騰大模型解決方案，使能全流程開(kāi)發(fā)與應(yīng)用創(chuàng)新。從數(shù)據(jù)、模型準(zhǔn)備到算力準(zhǔn)備、模型訓(xùn)練，再到模型部署和集成，解決方案均可滿足，不僅適用于多種場(chǎng)景，而且應(yīng)對(duì)全行業(yè)客戶需求，應(yīng)用了昇騰AI基礎(chǔ)軟硬件能力、伙伴模型以及平臺(tái)優(yōu)勢(shì)，結(jié)合生態(tài)伙伴彼此在大模型訓(xùn)練、微調(diào)和優(yōu)化方面的算法和模型能力，添加了大模型推理引擎、調(diào)優(yōu)工具和算子加速庫(kù)。方案的優(yōu)勢(shì)在于10倍集群穩(wěn)定性、20倍大模型無(wú)損壓縮、自動(dòng)生成和標(biāo)注指令數(shù)據(jù)，以及首創(chuàng)混合架構(gòu)、萬(wàn)億參數(shù)微調(diào)，2倍transformer計(jì)算效率，以及小時(shí)級(jí)應(yīng)用快速上線，短時(shí)延，高吞吐，高效推理部署。
大模型需要大算力，華為昇騰AI集群為大模型創(chuàng)新應(yīng)用構(gòu)筑堅(jiān)實(shí)底座。從Atlas 900 PoD到Atlas 900 A2 PoD，通過(guò)產(chǎn)品的不斷更新持續(xù)迭代升級(jí)，華為可提供業(yè)界領(lǐng)先的人工智能大規(guī)模集群。通過(guò)可診斷、可衡量、可恢復(fù)的多級(jí)可靠機(jī)制，可提供10倍級(jí)提升集群系統(tǒng)穩(wěn)定性。其中，無(wú)感知斷點(diǎn)續(xù)訓(xùn)，可實(shí)現(xiàn)千億參數(shù)模型30分鐘無(wú)感恢復(fù)訓(xùn)練，從仿真驗(yàn)證到故障檢測(cè)+診斷+預(yù)測(cè)，全面保障硬件穩(wěn)定可靠。與此同時(shí)，方案通過(guò)軟硬件原生協(xié)同設(shè)計(jì)，還可實(shí)現(xiàn)系統(tǒng)級(jí)優(yōu)化AI集群，加速大模型訓(xùn)練開(kāi)發(fā)。
從深度開(kāi)放到全面兼容 華為加速昇騰AI產(chǎn)業(yè)生態(tài)繁榮發(fā)展
在大模型時(shí)代，開(kāi)放的生態(tài)也非常重要。昇騰AI深度開(kāi)放，全面支持業(yè)界各類框架、加速庫(kù)及三方社區(qū)生態(tài)，并提供全流程遷移工具，可快速實(shí)現(xiàn)大模型和應(yīng)用的適配，目前已支持ChatGLM、LLaMA2、GPT、BLOOM等數(shù)十個(gè)業(yè)界主流大模型。同時(shí)，基于昇騰AI也原生孵化了業(yè)界首個(gè)兩千億參數(shù)的中文NLP大模型鵬程·盤(pán)古，業(yè)界首個(gè)多模態(tài)大模型紫東·太初等30+基礎(chǔ)大模型，并在各行業(yè)應(yīng)用落地。
在行業(yè)應(yīng)用領(lǐng)域，昇騰在大模型的行業(yè)落地方向探索最早，在生物醫(yī)藥、教育、遙感、電力和互聯(lián)網(wǎng)等多個(gè)行業(yè)場(chǎng)景實(shí)現(xiàn)了多個(gè)大模型的應(yīng)用落地。國(guó)內(nèi)的互聯(lián)網(wǎng)公司已經(jīng)在推薦廣告，搜索，內(nèi)容審核等核心業(yè)務(wù)場(chǎng)景越來(lái)越多的使用昇騰產(chǎn)品方案，滿足互聯(lián)網(wǎng)公司對(duì)AI算力快速增長(zhǎng)需求的同時(shí)助力互聯(lián)網(wǎng)行業(yè)打造創(chuàng)新應(yīng)用，提升業(yè)務(wù)競(jìng)爭(zhēng)力。在基礎(chǔ)大模型方面，昇騰孵化的基礎(chǔ)大模型涵蓋了多個(gè)技術(shù)領(lǐng)域，對(duì)各個(gè)技術(shù)方向下的大模型孵化均有積累。在大模型產(chǎn)業(yè)落地上，昇騰AI聯(lián)合產(chǎn)業(yè)鏈上下游伙伴，推動(dòng)大模型技術(shù)加速落地，目前已成立多模態(tài)人工智能產(chǎn)業(yè)聯(lián)合體、智能遙感開(kāi)源生態(tài)聯(lián)合體和智能流體力學(xué)產(chǎn)業(yè)聯(lián)合體，未來(lái)還計(jì)劃在智慧育種、AI生物制藥等領(lǐng)域牽引成立聯(lián)合體，促進(jìn)大模型產(chǎn)業(yè)聚合發(fā)展。
伴隨大模型帶來(lái)的生成式AI突破，人工智能正進(jìn)入一個(gè)新時(shí)代。如今，昇騰AI產(chǎn)業(yè)正在蓬勃發(fā)展中，華為攜手多家合作伙伴在互聯(lián)網(wǎng)、金融、運(yùn)營(yíng)商等多領(lǐng)域打造2500多個(gè)AI解決方案，提供軟硬件支持，開(kāi)放AI模組、加速卡，推出形式多樣的接口開(kāi)發(fā)文檔和參考設(shè)計(jì)，助推市場(chǎng)創(chuàng)新活動(dòng)穩(wěn)步提升。面向未來(lái)，華為將通過(guò)系統(tǒng)級(jí)創(chuàng)新、堅(jiān)持開(kāi)源開(kāi)放、深耕行業(yè)，加速昇騰人工智能產(chǎn)業(yè)生態(tài)繁榮發(fā)展，持續(xù)提升AI賦能，與伙伴聯(lián)合創(chuàng)新推進(jìn)人工智能走深向?qū)崳θ斯ぶ悄芘c各行各業(yè)深度融合，用強(qiáng)大的算力支撐人工智能高質(zhì)量的發(fā)展，為行業(yè)智能升級(jí)提供新動(dòng)能。
“數(shù)智世界 一觸即達(dá)” 選擇華為，讓您的企業(yè)輕松數(shù)智化。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
