看懂算力,除了數(shù)值還要看什么?

看懂算力,除了數(shù)值還要看什么?

摘要:正確認(rèn)識(shí)和理解算力,除了數(shù)字,還要關(guān)注精度和實(shí)際場(chǎng)景。

今天,數(shù)字技術(shù)開(kāi)始深入生產(chǎn)生活的每一環(huán)節(jié)。

然而要推動(dòng)數(shù)字產(chǎn)業(yè)的高水平發(fā)展,首先要確保擁有處理巨量數(shù)據(jù)的能力。隨著數(shù)據(jù)被列入生產(chǎn)要素,算力已成為重要的生產(chǎn)力。根據(jù)IDC發(fā)布的《2020全球計(jì)算力指數(shù)評(píng)估報(bào)告》,一國(guó)的算力指數(shù)每提高1個(gè)百分點(diǎn),數(shù)字經(jīng)濟(jì)和GDP將分別增長(zhǎng)3.3‰和1.8‰。

數(shù)字經(jīng)濟(jì)對(duì)算力的需求日益增大,加之新基建的東風(fēng),作為算力基礎(chǔ)設(shè)施的數(shù)據(jù)中心、超算中心、智能計(jì)算中心也邁入加速發(fā)展階段。工信部數(shù)據(jù)顯示,截至2020年底,我國(guó)在用的數(shù)據(jù)中心機(jī)架超過(guò)400萬(wàn)架,年均增速超30%。

算力"突飛猛進(jìn)"的同時(shí),市場(chǎng)認(rèn)知卻嚴(yán)重滯后。大多數(shù)人仍然對(duì)算力相關(guān)的概念比較陌生——算力如何衡量?不同算力等級(jí)間有何區(qū)別?算力與應(yīng)用場(chǎng)景如何匹配?

1.看算力水平,精度比數(shù)字重要

超級(jí)計(jì)算機(jī)被譽(yù)為"國(guó)之重器",代表國(guó)家算力的最高水準(zhǔn),也是一國(guó)科技實(shí)力的重要體現(xiàn)。理解超級(jí)計(jì)算機(jī)的峰值算力,首先需要知道算力的計(jì)量單位FLOPS(Floating-point operations per second)。

FLOPS表示每秒浮點(diǎn)的運(yùn)算次數(shù)。具體使用時(shí),F(xiàn)LOPS前面還會(huì)有一個(gè)字母常量,例如TFLOPS、PFLOPS。這個(gè)字母T、P代表次數(shù),T代表每秒一萬(wàn)億次,P代表每秒一千萬(wàn)億次。

除了運(yùn)算次數(shù),衡量算力水平時(shí)還要看算力精度。例如,1000FLOPS的AI計(jì)算中心所提供的的算力,與1000FLOPS超級(jí)計(jì)算機(jī)提供的算力,雖然數(shù)值相同,但由于精度不同,實(shí)際算力水平也是天壤之別。

根據(jù)參與運(yùn)算數(shù)據(jù)精度的不同,可把算力分為雙精度算力(64位,F(xiàn)P64)、單精度算力(32位,F(xiàn)P32)、半精度算力(16位,F(xiàn)P16)及整型算力(INT8、INT4)。數(shù)字位數(shù)越高,意味著精度越高,能夠支持的運(yùn)算復(fù)雜程度就越高,適配的應(yīng)用場(chǎng)景也就越廣。

超級(jí)計(jì)算機(jī)常被用于需要大量運(yùn)算的工作,譬如天氣預(yù)報(bào)、運(yùn)算化學(xué)、分子模型、天體物理模擬等,是為高精尖科學(xué)領(lǐng)域提供極致算力的服務(wù)。由于這類科學(xué)領(lǐng)域的計(jì)算對(duì)數(shù)據(jù)精度要求高,因此通常的超算系統(tǒng)以雙精度數(shù)值計(jì)算為主。

近年來(lái),AI在國(guó)內(nèi)獲得快速發(fā)展,為匹配AI訓(xùn)練與推理的特殊需求,AI超算系統(tǒng)應(yīng)運(yùn)而生。不同于傳統(tǒng)超算,AI超算系統(tǒng)大多用于語(yǔ)音、圖片或視頻的處理,浮點(diǎn)計(jì)算下的低精度計(jì)算甚至整型計(jì)算即可滿足相應(yīng)需求。

要確定不同精度算力的性能,需通過(guò)各自領(lǐng)域內(nèi)的專用測(cè)試程序來(lái)測(cè)試。例如,用于測(cè)試超級(jí)計(jì)算機(jī)性能的Linpack測(cè)試專注于雙精度算力;用于智能計(jì)算機(jī)性能的Resnet-50則專注于半精度算力。

如果將參與運(yùn)算的數(shù)據(jù)比作貨物,那么雙精度算力就可以看作重型卡車,低精度算力可以看作是小型貨車。重型卡車也可以承擔(dān)小型貨車的任務(wù),但功耗過(guò)高,會(huì)造成浪費(fèi)。而小型貨車由于自身性能限制,無(wú)法承擔(dān)重型卡車的任務(wù)。

同樣,超級(jí)計(jì)算機(jī)的雙精度算力即可以看作是重型卡車,是一種"通用算力",可以承擔(dān)各種計(jì)算任務(wù);而單精度、低精度算力作為小型貨車,則是一種"專用算力",是專門為AI的訓(xùn)練和推理設(shè)計(jì),無(wú)法承擔(dān)超級(jí)計(jì)算機(jī)的計(jì)算任務(wù)。

"超級(jí)計(jì)算機(jī)設(shè)計(jì)的目標(biāo)是為做更復(fù)雜的計(jì)算,所以即使只是做簡(jiǎn)單的計(jì)算,它的功耗還是很高。"中國(guó)科學(xué)院計(jì)算技術(shù)研究所研究員張?jiān)迫饲霸鴮?duì)媒體表示,AI計(jì)算擅長(zhǎng)于推理或訓(xùn)練,但多數(shù)不具備高精度數(shù)值計(jì)算能力,這也限制其在 AI 計(jì)算之外的應(yīng)用場(chǎng)景使用。

2.尋找"有效算力"

隨著數(shù)字化與千行百業(yè)的深度結(jié)合,每個(gè)行業(yè)、每個(gè)企業(yè)都面臨著選擇算力的問(wèn)題。需要注意的是,僅關(guān)注理論層面的最高算力并無(wú)太大意義,落到實(shí)際應(yīng)用場(chǎng)景里,還需要綜合考慮用戶應(yīng)用、成本、算力兼容性等多方面因素,尋找效率更高且經(jīng)濟(jì)適用的有效算力。

在選擇芯片與算力時(shí),首先需明確應(yīng)用場(chǎng)景和優(yōu)先任務(wù)。在早期規(guī)劃階段,地方政府即需要重視區(qū)域內(nèi)的優(yōu)勢(shì)產(chǎn)業(yè)、明確數(shù)據(jù)中心的應(yīng)用目標(biāo)。智算中心融合了AI技術(shù)與專用算力,在圖像分類、自然語(yǔ)言處理、循環(huán)翻譯等場(chǎng)景下較有優(yōu)勢(shì);超算中心則作為尖端科技領(lǐng)域的強(qiáng)大戰(zhàn)力,服務(wù)于行星模擬、分子藥物設(shè)計(jì)、基因分析等需要高精度數(shù)據(jù)處理的領(lǐng)域,應(yīng)用領(lǐng)域更為廣闊。

在追求最佳算力時(shí),成本也是關(guān)注重點(diǎn)。一方面,算力基礎(chǔ)設(shè)施的建設(shè)成本極高,在前期規(guī)劃時(shí),需要關(guān)注市場(chǎng)邏輯,重視經(jīng)濟(jì)可行性。粵港澳大灣區(qū)曾出現(xiàn)過(guò)同一地區(qū)的兩個(gè)智能計(jì)算中心,同精度算力單價(jià)相差近4倍的情況。為避免出現(xiàn)"高價(jià)高數(shù)值,低能低性價(jià)比"的情況,引入算力中心時(shí)應(yīng)重考察算力單價(jià),關(guān)注算力的實(shí)際效益。

此外,加強(qiáng)算力基礎(chǔ)設(shè)施的頂層設(shè)計(jì)和總體規(guī)劃,倡導(dǎo)開(kāi)放、多元、兼容的新型算力基礎(chǔ)設(shè)施,能使基礎(chǔ)設(shè)施的利用率大幅提升。底層基礎(chǔ)設(shè)施搭建開(kāi)放性架構(gòu),不僅能夠提供多種算力、提升基礎(chǔ)設(shè)施的易用度和適用度,還能夠支撐更加豐富的應(yīng)用場(chǎng)景,同時(shí)賦能社會(huì)治理和產(chǎn)業(yè)應(yīng)用。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 )