5月24日,云知聲山海大模型正式發(fā)布,交出其在AGI領域的第一份答卷,并進入有序迭代階段。時隔一個月,山海大模型迎來了又一次比較大的升級——各項性能持續(xù)優(yōu)化,且在核心能力上實現(xiàn)三大升級:通過迭代實現(xiàn)了在特定領域內(nèi)的專業(yè)知識積累,詩詞創(chuàng)作能力、數(shù)學計算能力實現(xiàn)突破。
技術(shù)加碼,性能持續(xù)優(yōu)化
●吞吐效率接近理論上限60%
UniScale通過引入全新的Attention高效計算方式和相關(guān)底層算子的優(yōu)化來提高浮點運算效率,另外,也進一步優(yōu)化了訓練框架中的通信策略,進一步提升了多機多卡的吞吐效率。UniScale目前在多機多卡大模型訓練計算效率接近理論上限的60%,而當前公開的主流框架訓練效率約45%左右,因此所提方法能夠吞吐量在原有基礎上提升了15個點。在推理部分,通過解碼策略優(yōu)化、量化和高效算子適配,相對原始推理性能翻倍,并適配了不同性能的顯卡推理部署。這意味著訓推一體框架UniScale 具有出色的并行計算能力,能夠同時處理多個任務,大大提高了模型的訓練速度。也表明在相同的時間內(nèi),UniScale可以完成更加高效的計算任務,降低推理部署成本。
●微調(diào)速度提升15倍
UniScale通過集成QLoRA微調(diào)(Dettmers et al., 2023)技術(shù),不僅極大地減少了微調(diào)所需的硬件資源,還提高了微調(diào)速度。QLoRA是在LoRA微調(diào)(Hu et al., 2021)基礎上結(jié)合了4位量化、雙量化和統(tǒng)一內(nèi)存分頁技術(shù),是一種高效的模型參數(shù)微調(diào)方法,不僅可以在普通消費級GPU上完成大規(guī)模語言模型的微調(diào),還能夠在較少的迭代次數(shù)內(nèi)快速收斂。與此同時,我們實現(xiàn)了一種多指令統(tǒng)一微調(diào)技術(shù),能夠進一步減少模型的計算和通信開銷,加快微調(diào)的速度。我們經(jīng)過實驗驗證,UniScale在使用QLoRA微調(diào)和統(tǒng)一微調(diào)技術(shù)之后,微調(diào)速度提升了約15倍。
這一改進對于微調(diào)任務非常重要,特別是當資源有限的情況下在大規(guī)模數(shù)據(jù)集上進行微調(diào)的場景。傳統(tǒng)的微調(diào)方法需要耗費較長的時間來逐步調(diào)整模型參數(shù),而QLoRA微調(diào)能夠通過多種量化方法顯著減少顯存占用,大大減少了微調(diào)所需的內(nèi)存,同時性能幾乎與標準微調(diào)相當。與此同時,微調(diào)后的模型可以直接用于模型部署,符合UniScale訓練與推理一體化的設計理念,這項改進使得UniScale成為一個非常有效的深度學習平臺,提供了更快速、高效的微調(diào)實驗方案。
能力突破,效果加速提升
●醫(yī)療能力超越Med-PaLM2
山海大模型實現(xiàn)了在特定領域內(nèi)專業(yè)知識的快速積累,通過語料的不斷迭代升級,專業(yè)能力持續(xù)突破。以醫(yī)療領域為例,山海大模型學習了大量教材、百科等高質(zhì)量醫(yī)學文獻,使其能夠提供更加全面、專業(yè)的醫(yī)療信息支持。在擴展了醫(yī)療大模型的領域知識的同時,山海大模型仍舊保持原有的高性能、高準確率等特點。醫(yī)療大模型的改進為醫(yī)生們提供更強大的支持和指導,以提高醫(yī)療效果。目前該模型在MedQA任務上提升到了87.1%,超越Med-PaLM 2,臨床執(zhí)業(yè)醫(yī)師資格考試提升到了523(總分600分),超過了99%的考生水平。
●詩詞創(chuàng)作能力升級
在詩詞創(chuàng)作方面上,山海大模型不僅在預訓練階段增加了7萬多首古詩詞數(shù)據(jù),補充詩詞相關(guān)的知識,在指令學習階段,也精心設計近40種不同的指令,基本覆蓋日常對詩詞數(shù)據(jù)相關(guān)知識考察的內(nèi)容,充分發(fā)掘大模型的潛力,進一步提升創(chuàng)作能力。通過指令學習的方法,山海大模型學會了運用類似的修辭手法和表達方式,使其創(chuàng)作效果更富詩意、更具情感溫度。不僅如此,山海大模型還能夠根據(jù)主題和情感要求進行定制化創(chuàng)作——這一突破不僅得益于詩詞相關(guān)的指令學習數(shù)據(jù)的引入,也歸功于山海大模型自身強大的計算和學習能力。
●數(shù)學能力提升
山海大模型的數(shù)學計算能力主要依賴預訓練階段扎實、系統(tǒng)的數(shù)學理論體系和指令學習階段基于插件的具體題型的求解能力。為了進一步提升山海大模型的數(shù)學能力,我們主要針對以下兩方面進行優(yōu)化:
a)我們在預訓練階段提供人工和模型精心挑選的高質(zhì)量預訓練數(shù)據(jù),其中包括從小學到大學所有數(shù)學學科的教材、練習冊等,通過這些數(shù)據(jù)的學習,模型就具備了系統(tǒng)的數(shù)學理論體系和解決各種數(shù)學問題的基礎。
b)基于 react 思想的指令學習是大模型數(shù)學能力的必要步驟。在此階段,對每一種題型,我們給出具體的解題思路,包括 reasoning and acting,教會大模型解決各種問題的能力。解題過程中,為了解決大模型無法做精確數(shù)值計算的問題,將數(shù)值運算移交給插件完成,插件完成數(shù)值計算或者方程求解之后,將答案返回大模型,大模型繼續(xù)問題求解,直到給出最終答案。
從5月24日正式發(fā)布以來,山海大模型始終在不斷訓練、調(diào)優(yōu),致力通過自身不斷的迭代進化兌現(xiàn)AI應用價值;保持高速演進的同時,也在探索與具體場景深度融合的更多可能。
目前,云知聲山海大模型已深入到智慧醫(yī)療、智慧教育、知識管理、智慧營銷、智能客服等具體場景中,基于山海大模型打造的場景應用正不斷豐富、不斷拓展。
7月6日-7月8日,云知聲將攜山海大模型及其醫(yī)療、銀行、車載、客服等最新場景應用亮相2023世界人工智能大會,歡迎大家屆時蒞臨云知聲展位參觀交流。
從能力升級到場景應用,基于多年技術(shù)積累,云知聲正加速推進山海大模型的迭代演變。未來山海會有怎樣的驚喜和亮點,值得你的期待。
(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )