ECCV 2020 已經(jīng)拉開(kāi)帷幕！今天，小編要給大家分享的是來(lái)自三星團(tuán)隊(duì)的 Oral Presentation：
標(biāo)題： Post－Training Piecewise Linear Quantization for Deep Neural Network
作者：Jun Fang， Ali Shafiee， Hamzah Abdel－Aziz， David Thorsley， Georgios Georgiadis， Joseph Hassoun
近年來(lái)深度神經(jīng)網(wǎng)絡(luò)在很多的問(wèn)題中，通過(guò)加大模型的深度、寬度或分辨度，取得了越來(lái)越高的精度。但與此同時(shí)也增加了模型的計(jì)算復(fù)雜度和內(nèi)存需求，從而導(dǎo)致在資源有限的嵌入式設(shè)備上來(lái)部署這些模型應(yīng)用變得更加困難。
量化 （Quantization）是一種非常實(shí)際有用的壓縮和加速模型的方法。它通過(guò)轉(zhuǎn)換模型的 32 位浮點(diǎn)（FP32）weights和activations到低精度的整數(shù)（比如 INT8），從而通過(guò)整數(shù)運(yùn)算來(lái)近似原始的浮點(diǎn)運(yùn)算模型達(dá)到壓縮和加速的效果。
然而在具體的實(shí)際應(yīng)用中，Post－Training Quantization 是非常重要的。因?yàn)樗恍枰匦掠?xùn)練模型的參數(shù)，所以節(jié)省了非常耗費(fèi)資源的調(diào)參過(guò)程；同時(shí)它也不需要訪問(wèn)訓(xùn)練數(shù)據(jù)，從而保護(hù)了數(shù)據(jù)的隱私性。在 Post－Training Quantization 的研究工作中，Uniform Quantization 是最受歡迎的方法。眾多研究表明，8－bit Uniform Quantization 就可以保持大部分的模型精度，但是如果降到 4－bit，精度會(huì)有非常顯著的損失。
此篇文章就是分析了 4－bit 精度損失的具體原因，并提出了他們的 Piecewise Linear Quantization（PWLQ）的方法來(lái)顯著的提高量化后模型的精度。如下圖所示，訓(xùn)練完的模型的 weights 的分布并不是平均分布，而是近似于高斯分布：絕大多數(shù)的 weights 都集中于中心地帶，而少數(shù)的 weights 分散在稀疏的連邊上?？上攵?，Uniform Quantization 對(duì)于這種分布的近似殘差不是最優(yōu)的。而 PWLQ 把分布區(qū)間分為沒(méi)有重疊的 center 和 tail 兩部分，每部分分配相同的量化格點(diǎn)數(shù)。這樣一來(lái)會(huì)導(dǎo)致中間部分的近似精度提高，而兩邊的近似精度下降，但因?yàn)榻^大部分的 weights 都分布在中間部分，所以整體的近似精度還是會(huì)得到提高。
接下來(lái)，問(wèn)題的關(guān)鍵在于怎么找到最優(yōu)的區(qū)分點(diǎn)（breakpoint），PWLQ 是通過(guò)最小化這種分布的近似殘差來(lái)得以選取。文章提供了具體的理論證明和下圖的數(shù)值模擬：近似的殘差是關(guān)于區(qū)分點(diǎn)的凹函數(shù)（Convex Function），所以這個(gè)最優(yōu)區(qū)分點(diǎn)是唯一存在的。
為了加快 Inference，文中提供了找到區(qū)分點(diǎn)的 one－shot 的公式。在數(shù)值實(shí)驗(yàn)中，如下圖的三種模型 Inception－v3，ResNet－50 和 MobileNet－v2 在 ImageNet 的結(jié)果上，PWLQ 比 Uniform Quantization 有著明顯的更高精度。尤其在 4－bit MobileNet－v2 的對(duì)比上，PWLQ 有高出 27．42％ 的精度，由此可見(jiàn) PWLQ 有著更強(qiáng)大的 representational power。
同時(shí)文中也做出了 PWLQ 和其他 state－of－the－art 的方法對(duì)比。如下圖所示，在 4／8 的情況下，PWLQ 比 LBQ（ICCV 2019）和 ACIQ（NeurIPS 2019）分別取得 0．40％ 和 7．96％ 的更高精度；在 4／4 的情況下，PWLQ 獲得更高精度的優(yōu)勢(shì)更加顯著。與此同時(shí)，PWLQ 不僅在 classification 的任務(wù)中取得好結(jié)果，在 segmentation 和 detection 任務(wù)上也得到了相似的好結(jié)果。
最后讓筆者感到欣喜的是文中不僅僅有展示 PWLQ 取得更好精度的優(yōu)勢(shì)所在，同時(shí)也有真誠(chéng)討論 PWLQ 的不足之處。比如，PWLQ 的具體硬件實(shí)現(xiàn)中會(huì)帶來(lái)一定的額外消耗，下圖是作者給出的關(guān)于硬件 Latency 和 Energy 的具體模擬參數(shù)來(lái)說(shuō)明這些額外消耗是可以接受的。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
