標(biāo)題：微軟推出革命性新框架：用更少資源訓(xùn)練大模型，效果媲美BF16
隨著人工智能的飛速發(fā)展，大模型訓(xùn)練已成為業(yè)界和學(xué)術(shù)界的研究熱點(diǎn)。近日，微軟研究院推出了一種全新的訓(xùn)練框架，該框架在相同超參數(shù)設(shè)置下，可以達(dá)到與FP8和BF16相當(dāng)?shù)挠?xùn)練效果，這意味著所需的存儲(chǔ)和計(jì)算資源可以更少。這一突破性的進(jìn)展，無(wú)疑為人工智能領(lǐng)域帶來(lái)了革命性的影響。
首先，讓我們了解一下這個(gè)新框架是如何工作的。該框架并非真正使用FP4進(jìn)行訓(xùn)練，而是通過(guò)模擬FP8環(huán)境來(lái)實(shí)現(xiàn)FP4精度。如果采用真正的FP4，效果還能進(jìn)一步提升。這一創(chuàng)新性的方法，通過(guò)在FP8的TensorCore上模擬實(shí)現(xiàn)，能夠在相同資源條件下達(dá)到更高的訓(xùn)練效果。值得注意的是，這一方法使用的并非真正的FP4，而是通過(guò)定制化的FP4矩陣乘法CUDA內(nèi)核，實(shí)現(xiàn)了對(duì)FP4精度的模擬。
在實(shí)驗(yàn)部分，該框架在多個(gè)模型上的表現(xiàn)令人印象深刻。在LLaMA模型的不同規(guī)模下，從千萬(wàn) Tokens的訓(xùn)練過(guò)程中，使用FP4訓(xùn)練與BF16的損失曲線(xiàn)基本一致，這表明該框架的訓(xùn)練效果與BF16相當(dāng)。而在下游任務(wù)上，表現(xiàn)同樣也和BF16相當(dāng)，這進(jìn)一步證明了該框架的實(shí)用性。
那么，這個(gè)新框架有哪些優(yōu)點(diǎn)呢？首先，它大大降低了訓(xùn)練大模型所需的存儲(chǔ)和計(jì)算資源，這對(duì)于當(dāng)前資源緊張的環(huán)境來(lái)說(shuō)，無(wú)疑是一個(gè)福音。其次，該框架的訓(xùn)練效果與BF16相當(dāng)，這意味著我們可以用更少的資源獲得相同或更好的效果。最后，該框架的提出者采用了定制化的FP4矩陣乘法CUDA內(nèi)核，這無(wú)疑為未來(lái)的研究提供了新的思路。
此外，該框架還采用了許多先進(jìn)的技術(shù)來(lái)優(yōu)化訓(xùn)練過(guò)程。例如，在梯度通信時(shí)采用了FP8，在優(yōu)化器狀態(tài)（如動(dòng)量）的存儲(chǔ)時(shí)選擇了FP16。在系統(tǒng)的其他部分，如非矩陣乘操作的計(jì)算、Loss Scaling等，也都采用了FP16。通過(guò)這些混合精度的設(shè)計(jì)，在保證訓(xùn)練數(shù)值穩(wěn)定性的前提下，盡可能地降低了計(jì)算和存儲(chǔ)開(kāi)銷(xiāo)。
值得一提的是，這個(gè)新框架由微軟亞洲研究院和SIGMA團(tuán)隊(duì)打造，所有研究人員都是華人。第一作者Ruizhe Wang是中科大在讀博士生，目前在MSRA實(shí)習(xí)，研究方向就包括低精度量化。中科大科研部部長(zhǎng)、類(lèi)腦智能?chē)?guó)家工程實(shí)驗(yàn)室執(zhí)行主任、博士生導(dǎo)師查正軍教授也參與了這一項(xiàng)目。通訊作者為MSRA高級(jí)首席研究經(jīng)理程鵬和首席研究經(jīng)理Yeyun Gong。程鵬曾先后就讀于北航和清華，在清華讀博期間還到UCLA訪問(wèn)學(xué)習(xí)；Yeyun Gong則是復(fù)旦博士，畢業(yè)后即加入微軟。MSRA杰出科學(xué)家、常務(wù)副院長(zhǎng)郭百寧也參與了本項(xiàng)目。
總的來(lái)說(shuō)，微軟推出的這個(gè)新框架為人工智能領(lǐng)域帶來(lái)了革命性的影響。它不僅降低了訓(xùn)練大模型所需的資源，還提高了訓(xùn)練效果。這一創(chuàng)新性的方法將為人工智能領(lǐng)域的研究者提供新的思路和方向，有望推動(dòng)人工智能領(lǐng)域的發(fā)展進(jìn)入新的階段。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
