近日,金山云基于Tesla T4的GPU云服務(wù)器正式對(duì)外商用,這也是繼去年國(guó)內(nèi)首家商用Tesla V100之后,金山云在GPU云服務(wù)器領(lǐng)域再一次拔得頭籌,代表金山云在新技術(shù)應(yīng)用上始終處于行業(yè)領(lǐng)先水平。
作為全面升級(jí)的新一代GPU云服務(wù)器,T4采用了最新的Turing架構(gòu),單卡提供8.1 TFLOPS的單精浮點(diǎn)計(jì)算能力和65 TFLOPS的混合精度(FP16/FP32)矩陣計(jì)算能力。Tesla T4相比于上一代產(chǎn)品Tesla P4,其整體性能有了較大的提升,在給定場(chǎng)景下,T4的推理性能提升超過350%。
震撼的多精度推理性能為AI全面加速
Tesla T4基于Turing架構(gòu),提供了更加強(qiáng)大的訓(xùn)練和推理能力,在原有對(duì)FP32和FP16支持的基礎(chǔ)上,Turing架構(gòu)中的Tensor Core新增了對(duì)INT8和INT4的支持,并探索性地推出了INT1精度模式。通過對(duì)多種精度模式的支持,T4能夠有效縮短在線預(yù)測(cè)和離線訓(xùn)練時(shí)長(zhǎng)。根據(jù)Nvidia公布的測(cè)試數(shù)據(jù),在語言推理的場(chǎng)景中(NLP: GNMT Model),T4相對(duì)于P4,其性能提升超過350%。
Tesla T4使用TU104核心,搭載136億個(gè)晶體管,共40個(gè)SM(stream multiprocessor),每個(gè)SM單元中有64個(gè)CUDA Core和8個(gè)混合精度的矩陣運(yùn)算單元Tensor Core,共2560個(gè)CUDA core和320個(gè)Tensor core,提供8.1 TFLOPS的單精度性能和65 TFLOPS的混合精度(FP16/FP32)性能。此外,T4中還集成了Turing架構(gòu)首次引入的RT Core,可實(shí)現(xiàn)高效的光線追蹤(Ray Tracing)功能,在圖形圖像渲染方面有著廣泛的應(yīng)用。目前,金山云基于T4的GPU加速計(jì)算服務(wù)已全面商用,為諸多客戶提供著高性能的計(jì)算支撐。
優(yōu)異的機(jī)器學(xué)習(xí)能力讓技術(shù)更智能
T4針對(duì)深度學(xué)習(xí)應(yīng)用場(chǎng)景,進(jìn)行了全方位的優(yōu)化。首先,T4卡配備了320個(gè)Tensor Core。Tensor Core作為專門用于執(zhí)行張量/矩陣運(yùn)算的計(jì)算單元,能夠?yàn)橛?xùn)練和推理場(chǎng)景中的矩陣運(yùn)算提供極大的加速,被廣泛用于各種深度學(xué)習(xí)的場(chǎng)景中。Turing Tensor Core相對(duì)于先前的Volta版,強(qiáng)化了推理的功能,支持了INT8和INT4兩種精度模式,算力分別高達(dá)130TOPS和260TOPS。其次,T4繼承了Volta架構(gòu)中首次引入的Multi-Process Service(MPS)功能,優(yōu)化了對(duì)batch較小時(shí)推理的性能,減少啟動(dòng)延遲,從而能夠支持更多的并發(fā)請(qǐng)求。
及時(shí)響應(yīng)是提升用戶參與度的關(guān)鍵,隨著模型準(zhǔn)確性和復(fù)雜性的提高,快速交付正確答案所需的計(jì)算能力也在呈指數(shù)級(jí)提升。T4擁有先進(jìn)的實(shí)時(shí)推理性能,在會(huì)話式人工智能、推薦系統(tǒng)和可視化搜索等場(chǎng)景的處理上,可提供低延時(shí)、高吞吐量的計(jì)算能力,進(jìn)而實(shí)時(shí)滿足更多的處理請(qǐng)求。T4通過優(yōu)異的機(jī)器學(xué)習(xí)推理能力讓技術(shù)應(yīng)用更為智能。除了深度學(xué)習(xí)外,T4在視頻轉(zhuǎn)碼和虛擬桌面等諸多場(chǎng)景中都能夠發(fā)揮重要的作用。
作為中國(guó)領(lǐng)先的云計(jì)算服務(wù)提供商,金山云始終致力于通過最前沿的技術(shù)、最高效的產(chǎn)品為客戶提供更加安全、穩(wěn)定、便捷的云服務(wù)。目前基于T4的 GPU云服務(wù)器已經(jīng)開放商用,卓越的深度學(xué)習(xí)推理性能,讓用戶能夠更加快速、高效地構(gòu)建AI業(yè)務(wù),運(yùn)行大規(guī)模模型推理應(yīng)用。同時(shí),基于Tesla T4的實(shí)例具備易擴(kuò)展和高性價(jià)比的特性,能夠?yàn)橛脩艄?jié)省大量計(jì)算成本,有效提升AI產(chǎn)品迭代的速度,提高企業(yè)AI競(jìng)爭(zhēng)力。
- 特斯拉Model Y新版預(yù)售,iPhone 18 Pro系列升級(jí),汽車界與科技界碰撞新火花
- 小鵬汽車何小鵬回應(yīng)特斯拉 Model Y 撞臉風(fēng)波:設(shè)計(jì)碰撞,靈感碰撞,究竟誰更勝一籌?
- 日本車商2024年新車銷量下滑,本田跌至近10年最低位,中國(guó)市場(chǎng)面臨挑戰(zhàn)?
- 英偉達(dá)批評(píng)美政府AI芯片出口限制:限制不利己,全球轉(zhuǎn)向替代技術(shù)之風(fēng)
- 特斯拉煥新Model Y難敵華為問界R7,智能科技誰領(lǐng)風(fēng)騷?
- 開源巨頭聯(lián)手打造Chromium聯(lián)盟,推動(dòng)Linux生態(tài)創(chuàng)新發(fā)展
- 曹德旺巨資辦校,福耀科技大學(xué)引領(lǐng)行業(yè)新風(fēng)向,培養(yǎng)未來之星
- 愛馳汽車陷股權(quán)凍結(jié)風(fēng)波,能否順利復(fù)工復(fù)產(chǎn)引關(guān)注
- 小鵬汽車CEO何小鵬:雷軍不僅直言不諱,還勸我多做營(yíng)銷,不失為良師益友
- 馬斯克大膽計(jì)劃:未來十年內(nèi)特斯拉機(jī)器人產(chǎn)能提升10倍,300億機(jī)器人將顛覆各行各業(yè)
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。