阿里云& NVIDIA TensorRT Hackathon 2023 決賽圓滿收官,26支AI團隊嶄露頭角

2023年9 月 29 日,由阿里云、NVIDIA 聯(lián)合主辦,阿里云天池平臺承辦的 “NVIDIA TensorRT Hackathon 2023 生成式 AI 模型優(yōu)化賽” 圓滿落幕。該賽事自2020年以來,已成功舉辦三屆,本屆賽事于今年 7 月啟動,吸引了來自全國 729 支開發(fā)者團隊報名參賽,其中共有 40 支團隊晉級復賽,最終 26 支團隊于決賽中脫穎而出,分獲冠軍/亞軍/季軍及優(yōu)勝獎,展現(xiàn)出了卓越的技術(shù)實力。

阿里云& NVIDIA TensorRT Hackathon 2023 決賽圓滿收官,26支AI團隊嶄露頭角

解鎖 TensorRT-LLM 挖掘生成式 AI 新需求

今年的NVIDIA TensorRT Hackathon著重提升選手開發(fā) TensorRT 應用的能力。

在過去的一年里,生成式 AI 迎來了爆發(fā)式增長。計算機能夠批量生成大量圖像和文本,有的甚至能夠媲美專業(yè)創(chuàng)作者的作品。這為未來生成式 AI 模型的發(fā)展鋪平了道路,令人充滿期待。正因如此,NVIDIA TensorRT Hackathon 2023 選擇生成式 AI 模型作為比賽的主題,以激發(fā)選手的創(chuàng)新潛力。

今年的比賽設(shè)置了初賽和復賽兩組賽題——初賽階段,選手需要利用 TensorRT 加速帶有 ControlNet 的 Stable Diffusion pipeline,以優(yōu)化后的運行時間和出圖質(zhì)量作為主要排名依據(jù);復賽為開放賽題,選手可自由選擇公開的 Transformer 模型,并利用 TensorRT 或 NVIDIA TensorRT-LLM 進行模型推理優(yōu)化。

NVIDIA TensorRT? 作為 GPU 上的 AI 推理加速庫,一直以來都備受業(yè)界認可與青睞。本次比賽的背后是 NVIDIA TensorRT 開發(fā)團隊對產(chǎn)品不斷進行改進和優(yōu)化的結(jié)果。通過讓更多模型能夠順利通過 ONNX 自動解析得到加速,并對常見模型結(jié)構(gòu)進行深度優(yōu)化,極大地提高了 TensorRT 的可用性和性能。這意味著大部分模型無需經(jīng)過繁瑣的手工優(yōu)化,就能夠在 TensorRT 上有出色的性能表現(xiàn)。

TensorRT-LLM 是 NVIDIA 即將推出用于大語言模型推理的工具,目前已于官網(wǎng)開放試用。作為此次復賽推薦使用的開發(fā)工具之一,TensorRT-LLM 包含 TensorRT 深度學習編譯器,并且?guī)в薪?jīng)過優(yōu)化的 CUDA kernel、前處理和后處理步驟,以及多 GPU/多節(jié)點通信,可以在 NVIDIA GPU 上提供出類拔萃的性能。它通過一個開源的模塊化 Python 應用 API 提高易用性和可擴展性,使開發(fā)人員能夠嘗試新的 LLM,提供最頂尖的性能和快速自定義功能,且不需要開發(fā)人員具備深厚的 C++ 或 CUDA 知識。

作為本次大賽的主辦方之一,阿里云天池平臺為參賽選手提供了卓越的云上技術(shù)支持,在阿里云GPU云服務器中內(nèi)置 NVIDIA A10 Tensor Core GPU,參賽者通過云上實例進行開發(fā)和訓練優(yōu)化模型,體驗云開發(fā)時代的AI工程化魅力。同時,由NVIDIA 30 名工程師組成導師團隊,為晉級復賽的 40 支隊伍提供一對一輔導陪賽,助力選手獲得佳績。

從實踐到迭代  腦力與創(chuàng)造力的集中比拼

本次比賽中涌現(xiàn)出大量優(yōu)秀的開發(fā)者。在獲獎的 26 支團隊中,有不少團隊選擇借助 TensorRT-LLM 對通義千問-7B 進行模型推理優(yōu)化。

通義千問-7B(Qwen-7B)是阿里云研發(fā)的通義千問大模型系列的 70 億參數(shù)規(guī)模的模型,基于 Transformer 的大語言模型,在超大規(guī)模的預訓練數(shù)據(jù)上進行訓練得到。在 Qwen-7B 的基礎(chǔ)上,還使用對齊機制打造了基于大語言模型的 AI 助手 Qwen-7B-Chat。

獲得此次比賽一等獎的 “無聲優(yōu)化者(著)” 團隊,選擇使用 TensorRT-LLM 完成對 Qwen-7B-Chat 實現(xiàn)推理加速。在開發(fā)過程中,克服了 Hugging Face 轉(zhuǎn) Tensor-LLM、首次運行報顯存分配錯誤、模型 logits 無法對齊等挑戰(zhàn)與困難,最終在優(yōu)化效果上,吞吐量最高提升了 4.57 倍,生成速度最高提升了 5.56 倍。

而獲得此次賽事二等獎的 “NaN-emm” 團隊,在復賽階段,則選擇使用 TensorRT-LLM 實現(xiàn) RPTQ 量化。RPTQ 是一種新穎的基于重排序的量化方法,同時量化了權(quán)重與中間結(jié)果(W8A8),加速了計算。從最開始不熟悉任何 LLM 模型,到后續(xù)逐步學習和了解相關(guān)技術(shù),“NaN-emm” 團隊啟用了GEMM plugin,GPT Attention plugin,完成了 VIT、Q-Former、Vicuna-7B 模型的轉(zhuǎn)化,最終通過 40 個測試數(shù)據(jù),基于 Torch 框架推理耗時 145 秒,而經(jīng)過 TensorRT-LLM 優(yōu)化的推理引擎耗時為 115 秒。

本次大賽還涌現(xiàn)了一批優(yōu)秀的開發(fā)者,本屆參賽選手鄧順子不僅率領(lǐng)隊伍獲得了一等獎,還收獲了本次比賽唯一的特別貢獻獎。他表示,2022 年的 Hackathon 比賽是他首次接觸 TensorRT,這使他對模型推理加速產(chǎn)生了濃厚的興趣。盡管當時未能進入復賽,但那次經(jīng)歷讓他深感自身技能的不足。在上一次比賽中,他目睹了頂尖選手使用 FasterTransformer 在比賽中取得領(lǐng)先地位,這一經(jīng)歷讓他對 AI 技術(shù)有了更深入的理解和追求。隨后,他積極做 TensorRT 上的模型開發(fā),特別是對 ChatGLM/Bloom 等新興模型進行了優(yōu)化,感受到了 TensorRT 的強大。

今年,他再次參加了 TensorRT Hackathon 2023,利用 TensorRT-LLM 成功優(yōu)化了 QWen 大模型,實現(xiàn)了自己的夢想。他感謝主辦方給予的機會,團隊的支持,以及所有參賽者的努力,他期待未來能與大家一起為 AI 技術(shù)的發(fā)展創(chuàng)造更多奇跡。

人工智能應用場景創(chuàng)新日新月異,AI 模型的開發(fā)與部署也需要注入新的動能。在此次賽事中,選手們基于 TensorRT 挖掘出更多的潛能和功能需求。未來,阿里云和NVIDIA 還將持續(xù)為開發(fā)者和技術(shù)愛好者提供展示技能和創(chuàng)意的平臺,天池平臺將與更多優(yōu)秀的開發(fā)者一同推進 TensorRT 的發(fā)展,讓 AI 在 GPU 上更容易、更高效地部署。

極客網(wǎng)企業(yè)會員

免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2023-10-17
阿里云& NVIDIA TensorRT Hackathon 2023 決賽圓滿收官,26支AI團隊嶄露頭角
2023年9 月 29 日,由阿里云、NVIDIA 聯(lián)合主辦,阿里云天池平臺承辦的 “NVIDIA TensorRT Hackathon 2023 生成式AI模型優(yōu)化賽” 圓滿落幕。

長按掃碼 閱讀全文