在相同流量消耗的情況下,540p可秒變1080p?這不是魔法,通過視頻超分辨率技術(簡稱視頻超分),就能讓視頻變得更清晰。
7月20日,在小紅書最新版本7.48的App中,用戶就能體驗到這項技術帶來的優(yōu)質視頻體驗。小紅書和華為HMS Core合作,在移動端上線了基于HUAWEI HiAI Foundation提供的視頻超分能力,實現了視頻筆記在相同流量消耗的情況下,540p清晰度可秒變1080p的視覺效果,讓用戶真正享受到低成本觀看流暢清晰視頻的快感。
真誠分享創(chuàng)造用戶價值,同頻探索低成本高畫質
一直以來,小紅書將用戶基于真實生活的記錄分享視為最寶貴的財富,鼓勵用戶通過短視頻、圖文、直播等形式記錄生活,分享生活方式,并基于興趣互動形成社區(qū)。以此為基礎,小紅書平臺上涌現出內容與商業(yè)之間不斷流轉的良性交互,成長出獨具特色的“種草經濟”。
但在2K、4K屏幕分辨率已是主流的今天,用戶對視頻畫質和體驗效果的要求也越來越高,卡頓或視頻分辨率太低都會讓用戶難以忍受。然而音視頻領域業(yè)務復雜,端側算力需求大、算法部署困難,想要實現新的功能,構建新的業(yè)務場景并不容易。
如何為用戶打造低成本高畫質的視頻播放體驗,成為短視頻領域(尤其是各大頭部短視頻平臺)迫切想要解決的問題。
與此同時,華為HMS Core通過對影像處理能力的不斷積累,結合多媒體技術和AI算法,為社交、影音行業(yè)的開發(fā)者提供了一套AI視頻超分解決方案,輕松實現讓用戶觀看低分辨率視頻時也能享受高分辨率體驗的效果。
對音視頻領域的一致探索,為小紅書與HMS Core的合作拉開了帷幕。
短視頻超分加持,UGC種草刷到爽
致力于打造“超清視界”的AI視頻超分技術,通過機器學習,可以將低分辨率的圖像、視頻進行重建,使圖像、視頻更加清晰。但傳統(tǒng)超分算法對運算資源有較大的需求,且受限于移動端算力、算法功耗、多機型兼容性等問題,在移動端上部署實時超分技術面臨著巨大挑戰(zhàn)。
在本次合作中,小紅書App通過接入基于HMS Core開放的HUAWEI HiAI Foudation,使能端側超分業(yè)務。端側視頻超分模型對實時性要求較高,意味著視頻超分功能不僅需要高算力,還需要通過底層硬件能力優(yōu)化來降低功耗。HUAWEI HiAI Foundation作為端側AI計算的平臺底座,通過多IP協(xié)同、圖融合優(yōu)化等技術,充分發(fā)揮NPU硬件單元的算力,令視頻超分以更低功耗更高性能在手機端側高效運轉。
這樣一來,小紅書開發(fā)者們就可通過降低或升高用戶所觀看視頻的清晰度和碼率,動態(tài)化選擇網絡環(huán)境,有效降低了寬帶的使用成本,并且提升了開發(fā)與運營效率。同時,端側視頻超分的落地,也讓小紅書用戶以相同的流量消耗,獲得了更流暢清晰的“種草”視頻觀看體驗。
高效合作,深度探索未來音視頻行業(yè)無限可能
小紅書團隊與華為HMS Core團隊對接始于今年4月,雙方合作高效,共同基于對媒體領域的技術理解和方案,協(xié)同開發(fā),很快便集成了HUAWEI HiAI Foundation并實現了端側視頻超分能力,通過AI硬件的加速,解決了功耗和性能的難題。小紅書應用研發(fā)負責人鄧林在提及與HMS Core合作感受時說到:“HMS Core幫助我們解決了端側視頻超分這一難題,這使得小紅書的開發(fā)者們可以將更多精力放在業(yè)務創(chuàng)新方面,用旗艦技術賦能提升我們的用戶體驗。”
目前,小紅書“視頻超分”功能部署至HUAWEI MateX2系列、P50 Pro、Mate 40系列等90多款華為NPU手機機型,以及HUAWEI MatePad系列等10多款華為NPU平板機型,在相關手機和平板刷小紅書視頻筆記都能獲得優(yōu)質體驗。
音視頻行業(yè)還存在著大量潛在的業(yè)務創(chuàng)新需求,未來HMS Core和小紅書也將持續(xù)探索為用戶提供更多個性化的服務,提升用戶體驗,在運動類、賽事類等細分領域上探索更多創(chuàng)新玩法。HUAWEI HiAI Foundation也一直在為開發(fā)者解決底層算力與體驗中的切實問題和最新技術難點,對開發(fā)者開放底層算力平臺,助力更多的算法遷移到端側部署。
(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )