隨著深度學(xué)習(xí)模型在自然語言處理等領(lǐng)域的廣泛應(yīng)用,模型推理速度和性能成為關(guān)鍵問題。近日,由快手主導(dǎo)的研究成果《SAMP:基于自適應(yīng)混合精度的訓(xùn)練后量化模型推理庫》成功入選該領(lǐng)域頂級會議EMNLP 2023,并于新加坡現(xiàn)場展示和分享。
該研究提出了一種名為SAMP的推理加速工具,通過自適應(yīng)混合精度技術(shù),在保持模型性能的同時,顯著提高推理速度。其中包含自適應(yīng)混合精度編碼器和一系列先進的融合策略。自適應(yīng)混合精度編碼器可以在大量的通用矩陣乘法(GEMM)運算和Transformer層中找到最佳浮點定點混合精度組合方式,使模型推理的性能最貼近用戶需求(計算精度或推理效率)。最終,混合精度計算取得了比全定點計算更好的計算精度。融合策略對embedding算子和量化相關(guān)計算操作進行融合改進,使得 CUDA 內(nèi)核調(diào)用減少一半。同時,SAMP是由C++編程語言實現(xiàn)的端到端工具包,具有出色的推理速度,也降低了訓(xùn)練后量化推理的工業(yè)應(yīng)用門檻。
表1:SAMP與同類系統(tǒng)相比的創(chuàng)新點
SAMP具有以下幾項主要亮點:
1.自適應(yīng)。SAMP 在訓(xùn)練后量化推理方法中平衡計算精度和延遲性能。用戶可以針對不同的任務(wù)選擇合適精度和推理延遲的混合精度配置。SAMP還可通過自適應(yīng)分配方法推薦給用戶最佳的量化組合模式。
2.推理效率。在較寬的精度范圍(浮點到定點)中,SAMP 顯示出比其他推理工具包更好的推理加速。在中文語言理解測評基準(CLUE)分類任務(wù)數(shù)據(jù)集中,與FasterTransformer相比,SAMP實現(xiàn)了高達1.05-1.15倍的加速。
3.靈活性。SAMP 涵蓋眾多下游任務(wù),如分類、序列標記、文本匹配等。 Target 模塊是可擴展的并且可以靈活定制。它對用戶友好且對平臺依賴性較低。 SAMP 支持 C++ 和 Python API,僅需要 CUDA 11.0 或更高版本即可。 另外,SAMP也提供了許多模型轉(zhuǎn)換工具,支持不同格式模型之間相互轉(zhuǎn)換。
圖1:該論文在EMNLP2023現(xiàn)場展示和分享
主要研究者來自快手的田榮表示,能在模型推理這樣的場景下取得佳績是整個團隊共同努力的結(jié)果,SAMP的貢獻主要在三個方面,首先是解決了現(xiàn)有后量化(PTQ)推理工具在工業(yè)應(yīng)用中精度損失大的問題;第二是推動了后量化(PTQ)技術(shù)在 NLP 多個下游任務(wù)中大規(guī)模使用;同時,該推理庫還有輕量、靈活,對用戶友好的特點并支持用戶自定義任務(wù)目標。
據(jù)悉,EMNLP(Empirical Methods in Natural Language Processing)是自然語言處理和人工智能領(lǐng)域的頂級國際會議之一,聚焦于自然語言處理技術(shù)在各個應(yīng)用場景的學(xué)術(shù)研究,尤其重視自然語言處理的實證研究。該會議曾推動了預(yù)訓(xùn)練語言模型、文本挖掘、對話系統(tǒng)、機器翻譯等自然語言處理領(lǐng)域的核心創(chuàng)新,在學(xué)術(shù)和工業(yè)界都有巨大的影響力,此次入選也意味著快手在該領(lǐng)域的研究成果獲得了國際學(xué)者的認可。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
