9月24日消息，智譜AI推出數(shù)學(xué)模型MathGLM，以提升大語(yǔ)言模型的數(shù)學(xué)推理能力。它可以在不使用計(jì)算器工具的情況下，高效執(zhí)行復(fù)雜算術(shù)運(yùn)算，解答中文數(shù)學(xué)應(yīng)用題，部分表現(xiàn)超過GPT4和ChatGPT，目前已在魔搭社區(qū)ModelScope全球首發(fā)上架。
過往研究認(rèn)為，大語(yǔ)言模型并不能精確執(zhí)行高位數(shù)的算數(shù)運(yùn)算，尤其是涉及超過8位數(shù)的乘法運(yùn)算以及涉及小數(shù)、分?jǐn)?shù)的運(yùn)算。但MathGLM的出現(xiàn)，足以打破這些偏見。
MathGLM包含10M、100M、500M、2B等多個(gè)參數(shù)版本，具備處理最多12位數(shù)字的運(yùn)算能力。而且有測(cè)評(píng)結(jié)果顯示，通過充分的數(shù)據(jù)訓(xùn)練，MathGLM-2B可以準(zhǔn)確執(zhí)行多位數(shù)的算術(shù)運(yùn)算，準(zhǔn)確率高達(dá)93.03%（接近100%），顯著超越GPT-4在相同測(cè)試數(shù)據(jù)上18.84%的準(zhǔn)確率。10億參數(shù)版本的MathGLM-10B則在5000條中文數(shù)學(xué)應(yīng)用題的測(cè)試數(shù)據(jù)集上實(shí)現(xiàn)了接近GPT-4的性能。
MathGLM出色的表現(xiàn)，離不開其在模型架構(gòu)、數(shù)據(jù)集等方面的一系列創(chuàng)新。
針對(duì)算術(shù)任務(wù)，研發(fā)團(tuán)隊(duì)采用Transformer的decoder架構(gòu)，并使用自回歸目標(biāo)在生成的算術(shù)數(shù)據(jù)集上從頭訓(xùn)練。算術(shù)訓(xùn)練數(shù)據(jù)集包含各類算術(shù)任務(wù)、各種運(yùn)算符（含加法、減法、乘法、除法和求冪）、多種數(shù)字格式（含整數(shù)、小數(shù)、百分比、分?jǐn)?shù)和負(fù)數(shù)）。研發(fā)團(tuán)隊(duì)還采用分步計(jì)算策略對(duì)該數(shù)據(jù)集進(jìn)行了重構(gòu)，并且讓單個(gè)算術(shù)表達(dá)式由 2 到 10 個(gè)運(yùn)算步驟組成，以方便MathGLM對(duì)每個(gè)中間結(jié)果進(jìn)行準(zhǔn)確計(jì)算，從而得到每個(gè)算術(shù)表達(dá)式的正確答案。
評(píng)測(cè)結(jié)果顯示，MathGLM在一個(gè)包含9592條測(cè)試用例、專門為算術(shù)任務(wù)量身定制的數(shù)據(jù)集上的表現(xiàn)，顯著優(yōu)于GPT4和ChatGPT。
針對(duì)更復(fù)雜的數(shù)學(xué)問題——中文應(yīng)用題，研發(fā)團(tuán)隊(duì)微調(diào)了一系列以GLM為基座模型、用于解決數(shù)學(xué)應(yīng)用題的MathGLM。
訓(xùn)練過程中使用了一個(gè)包含21萬(wàn)道中文小學(xué)數(shù)學(xué)題的高質(zhì)量數(shù)據(jù)集Ape210K，但其不足之處在于每個(gè)題的答案都是直接計(jì)算得出，缺乏相應(yīng)的計(jì)算過程。因此，研發(fā)團(tuán)隊(duì)采用分步策略對(duì)Ape210K數(shù)據(jù)集進(jìn)行了重構(gòu)，方便MathGLM深入理解和學(xué)習(xí)潛在的計(jì)算邏輯和規(guī)則，逐步計(jì)算出每個(gè)數(shù)學(xué)問題的答案，提升最終答案的準(zhǔn)確性。
此外，研發(fā)團(tuán)隊(duì)還使用 ChatGLM-6B 和 ChatGLM2-6B 作為基座模型來訓(xùn)練 MathGLM，賦予 MathGLM 基本的語(yǔ)言理解能力，使其能夠有效理解數(shù)學(xué)應(yīng)用題中包含的語(yǔ)言信息。
在Ape210K數(shù)據(jù)集上進(jìn)行測(cè)試的結(jié)果顯示，MathGLM模型在答案準(zhǔn)確性方面已接近GPT-4。在一個(gè)包含1-6年級(jí)數(shù)學(xué)應(yīng)用題的數(shù)據(jù)集K6上進(jìn)行評(píng)測(cè)的結(jié)果顯示，MathGLM相比于其他中文模型（GPT-4、ChatGPT、Chinese-Alpaca-13B、MOSS-16B、Ziya-LLaMA-13B、Baichuan-7B等），呈現(xiàn)出了更強(qiáng)的數(shù)學(xué)推理能力。
為方便開發(fā)者快速上手體驗(yàn)MathGLM，魔搭社區(qū)第一時(shí)間推出了模型體驗(yàn)、推理實(shí)踐教程。
阿里云魔搭社區(qū)是國(guó)內(nèi)規(guī)模最大、開發(fā)者最活躍的AI模型社區(qū)，擁有200多萬(wàn)開發(fā)者，聚集了20多家頭部人工智能機(jī)構(gòu)貢獻(xiàn)的1000多款優(yōu)質(zhì)AI模型，為開發(fā)者提供一站式的模型體驗(yàn)、下載、推理、調(diào)優(yōu)、定制等服務(wù)，社區(qū)模型累計(jì)下載量已突破7500萬(wàn)次?！罢掖竽Ｐ?，上魔搭”正在成為開發(fā)者的共識(shí)。
附：
MathGLM模型地址：
https://modelscope.cn/models/ZhipuAI/MathGLM/summary
魔搭創(chuàng)空間MathGLM模型體驗(yàn)鏈接：
https://www.modelscope.cn/studios/ZhipuAI/MathGLM-demo/summary
魔搭教程鏈接：
https://mp.weixin.qq.com/s?__biz=MzkxNTM5NTg2OA==&mid=2247486650&idx=1&sn=b1a729a720947a56a27d64dac1182519&chksm=c15e88c9f62901df978105f8ad084a72e651fbb97a7768b4159ecec751120c9772b795a41524#rd
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
