近日，騰訊優(yōu)圖實驗室在模型壓縮任務中獲得創(chuàng)新性突破，提出的基于濾波器骨架的逐條剪枝算法(Stripe-Wise Pruning，SWP)，刷新了濾波器剪枝的SOTA效果。相關論文(Pruning Filter in Filter)已被機器學習領域的國際頂級會議Conference on Neural Information Processing Systems(NeurIPS 2020)收錄。
圖1 Stripe-Wise Pruning與幾種主流Pruning方式的區(qū)別
神經(jīng)網(wǎng)絡的具有結構和參數(shù)這兩個屬性，這兩個屬性都具有重要意義。本文指出神經(jīng)網(wǎng)絡的濾波器除了通常使用的參數(shù)屬性以外，還有一種形狀屬性。形狀屬性之前一直隱含在參數(shù)中，通過訓練每個濾波器的參數(shù)使其獲得不同的形狀。濾波器的形狀屬性具有重要的意義。具有合適形狀的濾波器，即使參數(shù)是隨機的，也能具有較好的性能。
因此本文通過一種名為濾波器骨架(Filter Skeleton，F(xiàn)S)的模塊來顯性地學習濾波器的形狀(如圖中①)。當訓練結束，我們可以將FS乘回參數(shù)上，因此不會引入額外的參數(shù)(如圖中②)。
圖2 PFF方法流程示意圖
對于不在骨架上的參數(shù)，使用逐條裁剪的方法將其整條(stripe，1*1濾波器)裁剪掉。
具體的，首先通過卷積計算順序的變換，可以將濾波器從Filter wise等價變換為stripe wise(如圖中③)。接下來就可以使用正常的濾波器剪枝方法對其進行裁剪(如圖中④)。
該方法的創(chuàng)新點包括：
(1) 提出濾波器除了參數(shù)屬性外，還存在形狀屬性，并且形狀屬性具有重要意義。
(2) 提出濾波器骨架的模塊來學習濾波器的形狀，并可以指導模型剪枝。
(3) 通過變換普通卷積為Stripe-Wise Convolution，結構化的實現(xiàn)逐條剪枝后的模型。
逐條剪枝算法在CIFAR10和ImageNet數(shù)據(jù)集上達到了SOTA效果。
（免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
