近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展和設(shè)備運(yùn)算能力的不斷提升，基于 AI 的超分技術(shù)在圖像恢復(fù)與增強(qiáng)領(lǐng)域也已經(jīng)呈現(xiàn)出廣闊的應(yīng)用前景，并且在實(shí)時(shí)通信領(lǐng)域也掀起了革新應(yīng)用之風(fēng)。
超分辨率(Super Resolution，簡(jiǎn)稱 SR)，是計(jì)算機(jī)視覺的一個(gè)經(jīng)典應(yīng)用。SR 是指通過(guò)軟件或硬件的方法，從觀測(cè)到的低分辨率圖像重建出相應(yīng)的高分辨率圖像，簡(jiǎn)單來(lái)說(shuō)就是通過(guò) AI 算法來(lái)放大原有圖像的分辨率以達(dá)到提升畫質(zhì)的效果。在監(jiān)控設(shè)備、衛(wèi)星圖像遙感、數(shù)字高清、顯微成像、視頻編碼通信、視頻復(fù)原和醫(yī)學(xué)影像等領(lǐng)域都有重要的應(yīng)用價(jià)值。
超分應(yīng)用場(chǎng)景條件限制，存在清晰度困擾
然而在現(xiàn)實(shí)中，用戶的應(yīng)用場(chǎng)景還存在許多問題，例如：
場(chǎng)景一：小張用手機(jī)看PC端主播的直播，發(fā)現(xiàn)畫質(zhì)不好。因?yàn)槭謾C(jī)是豎屏分辨率，需要從橫屏分辨率的畫面裁剪下來(lái)才能將畫面填滿手機(jī)屏幕，但是裁剪導(dǎo)致分辨率下降，畫質(zhì)降低。
場(chǎng)景二：小學(xué)生小張使用智能手表與媽媽手機(jī)視頻通話的時(shí)候，發(fā)現(xiàn)手表容易發(fā)熱，流量也用得快。因?yàn)?strong>受限于芯片性能，發(fā)送高分辨率的視頻時(shí)比較消耗性能。
尤其對(duì)于海外用戶來(lái)說(shuō)，應(yīng)用場(chǎng)景的問題更為復(fù)雜：
場(chǎng)景一：小張?jiān)谟《壬?，平?？粗辈ブ荒芸礃?biāo)清視頻，因?yàn)?strong>當(dāng)?shù)鼐W(wǎng)絡(luò)不好，再提高分辨就會(huì)容易卡頓，體驗(yàn)很差，因此只能接受標(biāo)清的畫質(zhì)。
場(chǎng)景二：小張?jiān)诿绹?guó)留學(xué)，有天和在印度的朋友視頻通話時(shí)發(fā)現(xiàn)畫質(zhì)有點(diǎn)差，因?yàn)?strong>印度網(wǎng)絡(luò)質(zhì)量不好，只能推送標(biāo)清視頻。
由此可以看出，用戶在一些特殊場(chǎng)景下，畫質(zhì)清晰度十分不理想。那么，以上用戶的問題我們可不可解?
ZEGO即構(gòu)科技推出自研超分，清晰度翻倍
近期，全球領(lǐng)先的云視頻服務(wù)商——ZEGO即構(gòu)科技推出了基于深度學(xué)習(xí)的自研超分、自研去編碼效應(yīng)，通過(guò) AI 算法來(lái)放大原有圖像的分辨率以達(dá)到提升畫質(zhì)的效果。
通過(guò)使用超分，可以在本地將實(shí)時(shí)視頻的分辨率放大兩倍(x2)，比如將 360P 超分成 720P 畫質(zhì)更清晰、紋理細(xì)節(jié)更細(xì)膩、文字更清楚，并且在播放端本地超分，不會(huì)增量帶寬、流量，解放網(wǎng)絡(luò)壓力，同時(shí)在播放端本地超分，也不依賴推流端，解放主播/推流用戶性能。使用超分后的優(yōu)勢(shì)總結(jié)如下：
1、提升畫質(zhì) —— 由于分辨率的提升，像素點(diǎn)更多，畫質(zhì)整體會(huì)比原畫面更加清晰;
2、去編碼臟塊 —— 去除由于碼率不足引起的編碼臟塊，畫面更加平滑整潔;
3、不會(huì)增加流量以及帶寬成本 —— 超分功能是端上的能力，只依賴設(shè)備性能;
4、不會(huì)增加推流端的性能消耗 —— 超分在拉流端(播放端)運(yùn)行。
我們一起來(lái)看一下使用即構(gòu)超分后帶來(lái)的效果變化：
上述提到的三個(gè)客戶場(chǎng)景在使用 ZEGO SDK 超分后，將產(chǎn)生如下效果變化：
國(guó)內(nèi)用戶場(chǎng)景一：使用即構(gòu)技術(shù)后：畫質(zhì)達(dá)到超清(720P/960P)，無(wú)視惡劣的網(wǎng)絡(luò)條件;
國(guó)內(nèi)用戶場(chǎng)景二：使用即構(gòu)技術(shù)后：畫質(zhì)達(dá)到超清，不用擔(dān)心跨端導(dǎo)致畫質(zhì)降低的問題了;
海外用戶場(chǎng)景一：使用即構(gòu)技術(shù)后：畫質(zhì)達(dá)到超清，不再受限于網(wǎng)絡(luò)條件;
海外用戶場(chǎng)景二：使用即構(gòu)技術(shù)后：畫質(zhì)達(dá)到超清，溝通和以前一樣流暢;
由此可見，當(dāng)使用超分黑科技加成后，畫質(zhì)飛躍。
那么何種場(chǎng)景適合使用超分?可以簡(jiǎn)單理解為用于想提升畫質(zhì)，卻又受到某些限制的環(huán)境。具體分為以下幾類：
1、網(wǎng)絡(luò)環(huán)境受到限制。對(duì)于網(wǎng)絡(luò)環(huán)境壓力大的地區(qū)，選擇超分提升畫質(zhì)檔次，避開網(wǎng)絡(luò)的限制;
2、硬件條件受到限制。攝像頭無(wú)法提供高分辨率、推流端的性能不夠編更高分辨率的視頻;
3、購(gòu)買成本受到限制。期望提升畫質(zhì)，但是對(duì)應(yīng)的分辨率/帶寬/流量檔位價(jià)格太高。
即構(gòu)超分優(yōu)勢(shì)
1、在資源受限的移動(dòng)端，基于深度學(xué)習(xí)的自研超分、自研去編碼效應(yīng)，對(duì)比業(yè)界 SOTA 及友商，模型大小相當(dāng)時(shí)，即構(gòu)自研 SR 主客觀數(shù)據(jù)更好，覆蓋機(jī)型更廣;
2、在性能不變的情況下可以累加編碼去臟去塊效應(yīng)和累加智能銳化，也就是說(shuō)，一個(gè)模型，可以完成超分+去編碼效應(yīng)+智能銳化，性能不變;
3、極小超低輕量級(jí)模型，僅0.69G FLOPs，我們?cè)赟et5中的PSNR/SSIM可以達(dá)到
36.898/0.9554，在此運(yùn)算量下，幾無(wú)對(duì)手;
4、機(jī)型覆蓋更廣，支持 2500+ 種機(jī)型，國(guó)內(nèi) Android 設(shè)備覆蓋率為 50%，iOS 設(shè)備覆蓋率為90%;
據(jù)悉，目前即構(gòu)科技已可以在1v1視頻通話，秀場(chǎng)直播、電商直播等單主播場(chǎng)景，低分辨率場(chǎng)景，智能硬件，跨端通信等場(chǎng)景接入超分。
高分辨率的視頻能提供更清晰的畫面和更高階的感官體驗(yàn)，對(duì)于提升視頻質(zhì)量和用戶視覺感受有很大的幫助。即構(gòu)此次自研的超分技術(shù)，可以幫助客戶獲得暢爽的視頻體驗(yàn)，打造更高水平的圖像恢復(fù)和圖像增強(qiáng)。
據(jù)了解，即構(gòu)超分將繼續(xù)進(jìn)行算法性能優(yōu)化，在效果不下降的情況下，覆蓋更多機(jī)型，包括網(wǎng)絡(luò)模型的性能優(yōu)化、前饋推理庫(kù)的性能優(yōu)化，支持PC端，并且會(huì)結(jié)合去編碼塊效應(yīng)(更低性能消耗)，進(jìn)一步提升視頻效果。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
