一枚芯片的趕考之路：究竟該如何看待“AI評測”？

半導體產(chǎn)業(yè)發(fā)展了數(shù)十年，有一個詞從來沒有離開過，那就是“評測”。

對硬件處理能力的評測，想必今天大家都已經(jīng)不陌生?！耙谎圆缓暇团芊帧睋?jù)說是科技行業(yè)的慣例；而普通人買手機買電腦，也要先了解一下CPU多少分、GPU處理能力達到多少分之類的數(shù)據(jù)。

而在AI變得越發(fā)重要的今天，是不是也應該有對AI算力進行評測的方案呢？

這個問題值得認真思考一下。

無論是對谷歌、英偉達，還是高通、聯(lián)發(fā)科而言，今天的AI芯片和AI算力已經(jīng)成為了CPU和GPU之后的“第三大計算版圖”，評測AI算力的意義是毫無疑問的。然而另一方面，AI面向的并不是單一的計算任務，而是若干種類計算任務、計算架構的集合，這也讓測試AI性能變得史無前例的棘手。

要知道，即使CPU評測這件在今天看起來并沒有難度的事，也是從90年代就開始啟動，由無數(shù)公司與產(chǎn)業(yè)組織共同努力，才最終完成了行業(yè)標準確立。

那么AI評測這個陌生的東西，需要面對的技術規(guī)則挑戰(zhàn)可想而知。然而今天我們在手機芯片等領域，正在不斷看到越來越多的AI評測規(guī)則、評測報告出爐。結論往往混亂不堪，吃瓜群眾也搞不清楚這里的門道到底在哪。

讓我們今天“打破砂鍋問到底”，來看看AI評測“到底是怎么測的”。

手機芯片領域的AI算力評測，是一項爭議和復雜度遠超想象的工程。今天為數(shù)不少的AI評測報告，或許都欠缺一抹嚴肅與邏輯自洽能力。

都想當“江湖百曉生”：風起云涌的AI芯片評測

看過《小李飛刀》系列的人都知道，排兵器譜的江湖百曉生雖然本身武力值不高，但江湖地位卓然不群。而今在AI高速前行的時代，給AI芯片排名這件“差事”，自然也是誘惑力十足。

在服務器AI芯片領域，很多組織和機構都在醞釀算力評測方案。國內(nèi)的中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（AIIA）已經(jīng)多次組織學界與產(chǎn)業(yè)界研討AI算力評測方案，并已有相關討論稿。而在海外，谷歌、英偉達等AI巨頭也在醞釀AI算力評測的相關章程，希望建立國際范圍內(nèi)通行的AI芯片測試標準。

而在手機芯片領域，這兩年隨著麒麟970開始搭載獨立的NPU處理單元，之后蘋果在A11中開始跟進，在A12中搭載了具備相當算力的AI加速模塊；今年驍龍855也采取了專用加速模塊的架構，聯(lián)發(fā)科也講起了AI故事，手機芯片基本已經(jīng)在AI方向上達成了共識。那么如何來評價每一家的AI加速能力，自然成為了新的迫切需求。

目前，移動和電信都在組織自己的手機AI芯片評測報告。魯大師很早就推出過一個AI跑分規(guī)則，引發(fā)了很多爭議，而它的競品安兔兔也在醞釀AI領域的評測。在國外，蘇黎世理工ETH也發(fā)布了SoC的AI性能評測方案AI Benchmark。

然而如果有朋友看過不同的端測AI評測報告，可能會發(fā)現(xiàn)這樣一個問題：各家評測結果出入很大，經(jīng)常陷入“公說公有理”的狀態(tài)。

這背后的根本原因在于，AI加速并不是一個通用計算能力，而是面向不同任務、不同網(wǎng)絡模型給出的差異化提速效果。甚至每款芯片能夠覆蓋的AI加速任務種類都有極大不同。舉個例子，短跑選手之間可以比賽排名，田徑隊和體操隊碰上了怎么比呢？

十分為難的評測方，在今天這個缺乏統(tǒng)一標準的AI評測時代，基本只能采取一種辦法：不管那么多，先測了再說。

于是，片面的標準和隨之而來的混亂，是AI評測這個行當?shù)漠斍盃顟B(tài)。

“比武”也要講邏輯：不全面AI評測的隱憂

今天AI評測最大的問題，在于每家芯片廠商最開始做AI專項加速的時候，對這門復雜技術有著不同的理解。摸索期過去，當各自作品“登上舞臺”，評測機構可能會有點傻眼：這誰跟誰都不一樣，可怎么測啊……

在AI沒有通用接口的前提下，各家SoC廠商可能會選擇各自的兼容格式，不同的編程接口，以及不同的計算框架。甚至對于AI加速單元到底要為哪些AI任務加速，各家廠商的選擇都是不同的。

在這種情況下，如何將評測項目快速上馬？最簡單粗暴的邏輯，就是找一個大家都能做的來測一下。

魯大師的AI跑分之所以飽受質(zhì)疑，原因就在于它只用了一個AI識圖的任務來測試不同的手機，然而AI識圖只是眾多應用中很小的一部分。甚至數(shù)據(jù)集和算法的不同，也會讓AI識圖這件事產(chǎn)生相差懸殊的結果。這種單一任務決定分數(shù)高低的測試方法，有點像一張試卷只有一道選擇題——顯然是無法做到公允的。

即使評測機構想要把邏輯做的更復雜一點，在今天很可能依舊無法擺脫“折中主義”的評測思路。

比如說，不久之前發(fā)布的《中國移動2018年智能硬件質(zhì)量報告》把驍龍855和麒麟980的AI性能進行了評測對比。然而我們?nèi)绻匆幌逻@個評測的邏輯，會發(fā)現(xiàn)依舊無法擺脫片面折中的尷尬現(xiàn)象。

由于驍龍芯片和麒麟芯片對于AI加速的理解有很大區(qū)別，兩款芯片加速的AI任務也有很大不同。于是在移動端的AI評測中，其邏輯是尋找兩款芯片都能做的AI任務，找到幾個典型算法和典型場景，然后進行評測對比；評測標準是，在固定時間內(nèi)，誰能完成更多的突破分類、圖片分割等運算任務，則誰更強。

然而這里首先暴露出的一個問題就是，折中主義方案下依然可能帶來不公平。因為很多芯片產(chǎn)品真正擅長，能給消費者帶來體驗改進的算法加速，可能是對方芯片模塊中所不具備的能力，結果卻被評測方主動屏蔽了。

這有點像華山論劍中，強行要求東邪西毒南帝北丐分門別類進行比試。主辦方一琢磨，北丐會降龍十八掌，東邪會落英神掌，那公平起見你們就比掌法好了。然而北丐的掌法是看家本領，東邪的掌法只是十大神功之一，彈指神通玉簫劍法之類的，都被主辦方強行禁止了。

不全面的折中方案，其實恰好意味著不公平。然而這也是在倉促起事的AI評測中難以避免的。

更深層次的問題在于，折中主義方案其實是妥協(xié)于今天已經(jīng)比較完善、容易得出分數(shù)對比的AI模型，比如圖像分類等等。然而問題來了，端側AI必然是不斷發(fā)展的，用戶對AI算法的復雜度也在日益提升。當AI算力和應用不斷發(fā)展，用戶不會只滿足于拍照識圖這種極簡單，并不需要強勁算力的AI應用。然而對復雜算法的加速，也因為標準難以統(tǒng)一被今天的AI評測屏蔽了。

比如說，中移動的評測報告中提到了麒麟980對于浮點運算的加速能力更好。游戲玩家可能更清楚浮點運算這一概念，在游戲中任務的運動效果、打擊感、與自然環(huán)境的貼合度，都是由處理器對浮點型任務的支撐能力決定的。復雜網(wǎng)絡和高精度的AI任務想要運行，往往需要強浮點計算能力的支持，而這一點的重要性，顯然在評測中并沒有體現(xiàn)出來，這也導致麒麟980比驍龍855的AI處理能力低了半星。顯然，這個結論很難具備說服力。

這里引申出的一個問題就是，拋開精度談速率，其實是一種不靠譜的算力比較。這就像答題答得快并不意味著成績好。更快的識圖速度如果建立高錯誤率的基礎上，或者只能固定數(shù)據(jù)集快速識別，拿到現(xiàn)實生活中就識錯，那顯然也并不意味著AI算力足夠強大。

整體來看，今天快速上馬的AI評測，根本問題在于想要在缺乏行業(yè)通用標準的情況下自己搞一個標準。往往是針對于眼前能獲取到的、容易跑分的算法，并且著眼于各家產(chǎn)品間的能力重疊部分，進行測試。

這套邏輯雖然夠快，但首先沒有看到各家產(chǎn)品的獨特性，也沒有看到未來大負載的復雜AI任務必將成為主流這一核心趨勢。

這種套路下得出的結論，顯然難以令人信服。

如何構建相對公允的AI評測方案？

討論了手機AI芯片評測中的種種不公平，那么是不是有某種方式可以構建相對公允的AI評測機制呢？

說老實話，在今天AI芯片還缺乏行業(yè)統(tǒng)一標準，甚至對于行業(yè)目標都不甚清晰的狀況下，公允的AI算力評測方案是很難確立的。這有賴于整個AI產(chǎn)業(yè)與半導體產(chǎn)業(yè)的長期工作。

而就今天情況來看，至少我們可以預測到未來公允的AI評測方案的幾個主要趨勢：

1、著眼于高精準（High Quality）的AI模型加速，而不是目前簡單易用的AI方案。從CPU、GPU的邏輯來看，復雜任務一定是評測算力的最高標準。比如今天我們在評測GPU時，都知道開一個畫質(zhì)特別好的游戲作為標準。沒有人會用90年代的游戲來評測今天的GPU，這一點在AI評測上同樣適用。

2、分任務類別，進行相對詳細的AI評測。今天的AI評測集中于圖片識別與處理上，然而視頻的AI加速、游戲的AI賦能、語音類的AI任務，都需要不同的AI算力賦能方式。相對公允的評測方案，應該建立在對AI任務分門別類，構建一整套評測機制的前提下。

3、浮點計算是AI評測的重要方面。AI的精準度，會是未來提升用戶體驗的主要方向。比如說視頻里的摳圖、高精人像留色等等，這都需要浮點運算能力對AI的支持。這種直接提升用戶體驗的能力，應該納入AI評測重點考慮的范疇。

4、從應用端的體驗來評測AI算力。AI任務的最終目的是應用，那么從應用體驗角度，通過完整的AI應用來測試加速效果，構建圍繞用戶的核心坐標系來反向測評硬件算力，也是一個可以探索的方案。讓AI評測回到以用戶為重心，顯然比折中主義方案更加靠譜。

當然了，到底如何構建一個評測方案，將未來趨勢、用戶體驗等維度完整納入AI算力的測試范疇，是一項任重道遠的工作。而同時我們也應該注意到，在AI芯片領域，絕不應該構建一個“算力跑分為王”的機制，畢竟消費者是否體驗和熱愛AI，才是最好的衡量標準。

AI的本質(zhì)是“經(jīng)世致用”：評測之外，更應該關注體驗賽場

不同于CPU和GPU，AI算力不是在加速某一種恒定的運算任務，而是對千奇百怪的任務構建加速體系。

這或許可以看作AI和經(jīng)典計算在本質(zhì)上的區(qū)別。AI的本質(zhì)目標是帶來體驗差異化。讓消費者可以獲得有溫度、有感知、千人千面的終端體驗。換句話說，AI在手機中的歸宿，不是數(shù)據(jù)化表現(xiàn)，而是算力經(jīng)歷產(chǎn)品化之后帶給消費者的綜合體驗。

而消費者最終的感受，其中很大一部分顯然是無法用數(shù)據(jù)來衡量的。但這也不是說移動AI就不應該進行數(shù)據(jù)評測，而是應該認識到這一產(chǎn)業(yè)的復雜性，將那些不好量化的體驗維度納入考量體系。

AI最終能否讓消費者體驗到真正的價值，依靠的是手機的產(chǎn)品化能力和應用開發(fā)者。如果產(chǎn)品端、開發(fā)端沒有將AI算力進行有效利用，那么再強的算力也是枉然。這就好像倉庫里有各種名貴食材，然而廚師不會做或者不想做，那食客也只能望著倉庫愴然涕下。

從用戶體驗出發(fā)，反向來思考手機AI的問題，我們會發(fā)現(xiàn)最重要的是算力-產(chǎn)品-開發(fā)者，三方必須構成有效的組織關系。產(chǎn)品端將AI具象成拍照、視頻、游戲等底層能力，開發(fā)者將AI幻化成千變?nèi)f化的腦洞，這樣AI才有長治久安的生命力。

這條AI體驗的賽道中，今天來看有三個要素構成了競爭力的核心：

1、算力與硬件設備一體化聯(lián)動能力：為什么驍龍芯片也在強調(diào)AI算力，但是大部分安卓機的AI表現(xiàn)卻參差不齊？原因在于手機制造商與芯片廠商是脫離的，從技術選擇、開發(fā)上都將面臨不同的問題。而高通需要保證的是全球市場的性價比和可使用性，也不會為單獨廠商定制AI算力。于是我們看到，蘋果和華為在手機產(chǎn)品的AI化上具有先天優(yōu)勢，搭載驍龍芯片的安卓機想要追趕，必須在硬件與芯片的一體化能力上下更大功夫才行。

2、開發(fā)生態(tài)的賦能與扶持：如何引導AI開發(fā)者走入算法的世界，構建腦洞清奇的AI應用開發(fā)，這是一項百川歸海的開發(fā)者革命。其中需要的或許不僅是強勁算力的支持，還有開發(fā)平臺的完善，以及商業(yè)生態(tài)的勾勒。

3、云端一體化能力：直到今天，到底用服務器還是終端來處理AI任務，還是一件具有爭議的事情。從無延遲體驗和安全性上來說，端側AI是大勢所趨。而從未來趨勢上看，云端一體化的AI體驗或許才是真正的答案。那么如何從架構、算力、開發(fā)平臺等多方面保證云端可以在手機背后無縫合作，是值得深思的問題，這也是讓用戶收獲AI體驗的關鍵一環(huán)。

總而言之，AI的任務是“經(jīng)世致用”，是讓用戶感覺到設備變得不同——而不是主動閹割各種能力之后的跑分與評測。

中國人是最了解考試這門學問的。今天很多給AI設計的考試，都還處在未經(jīng)雕琢的原始階段，頗有點讓AI寫八股文的影子。

一場完善的AI考試，是整個行業(yè)所強烈期待的，但是心急不能解決問題。無論是AI評測還是AI本身，都還是一場山高路遠的冒險。

生成海報

免責聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關。文章僅供讀者參考，并請自行核實相關內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。