11月5日消息(安迪)在今天舉行的中國移動“5G+E”網(wǎng)邊融合技術(shù)峰會”上,清華大學(xué)計算機科學(xué)與技術(shù)系教授、網(wǎng)絡(luò)技術(shù)研究所所長崔勇發(fā)表了“基于邊緣計算的沉浸式VR”的主題演講。崔勇表示:基于現(xiàn)有通信技術(shù)的MEC VR成為創(chuàng)新思路,可通過MEC提升計算能力,通過協(xié)同渲染解決帶寬、時延等問題。
2016年就進入了VR元年。而近兩年,VR新品與核心技術(shù)不斷涌現(xiàn),例如愛奇藝VR一體機,高通推出了VR芯片驍龍835,谷歌推出AR Core,F(xiàn)acebook推出社交VR等實時互動的最新相關(guān)VR,索尼推出VR實時互動桌游,華為VR眼鏡獲得2019世界VR產(chǎn)業(yè)大會創(chuàng)新金獎,近日華為發(fā)布VR Glass 6DOF游戲套裝等,說明大廠依然在VR/AR方面發(fā)力。
但業(yè)界也有人認(rèn)為VR寒冬將至——應(yīng)用未果,投資遇冷。究竟是缺乏應(yīng)用場景,還是技術(shù)不夠呢?
在崔勇看來,VR/AR的技術(shù)痛點包括:由于VR響應(yīng)時延需要非常低(小于25ms),沉浸式VR的基本需求包括高刷新率(100Hz)、4K及深度圖像等高質(zhì)量圖像、360度全景視角,因此難點在于時延、高清、交互,也就是超高清實時交互。在這種情況下超高清實時交互需要計算來提供實時交互,但是高清渲染計算在哪算?如果手機或VR頭盔的GPU進行實時渲染會導(dǎo)致用戶體驗畫面卡頓、手機溫度過熱等問題,因此VR業(yè)界正在呼喚高性能計算設(shè)備。
崔勇分析了移動VR應(yīng)用的核心技術(shù)難點,邊緣計算模式霞,PC端VR在PC上渲染計算高質(zhì)量圖像,將圖像實時傳輸至移動端,畫質(zhì)體驗好但移動受限制。如果讓PC服務(wù)器進行高性能的圖像計算,將計算好的圖像實時傳輸?shù)揭苿佣?,但大家看到的商店里各式各樣VR產(chǎn)品都戴著小辮子,戴上VR眼鏡玩一會兒看不到小辮子在哪就很容易摔倒。如何砍斷小繩子、打造高質(zhì)量移動VR呢?對此業(yè)界這幾年研究了不少方案,包括預(yù)渲染和緩存預(yù)測,都難以做到實時交互。
“基于現(xiàn)有通信技術(shù)的MEC VR成為創(chuàng)新思路,可通過MEC提升計算能力,通過協(xié)同渲染解決帶寬、時延等問題。”崔勇表示:移動VR的內(nèi)容可以分為前景交互和背景交互,前景交互隨機、不可預(yù)測、工作量小,但要求實時渲染,可在移動端渲染;背景交互環(huán)境連續(xù)、可預(yù)測、工作量大,可提前在邊緣服務(wù)器渲染。這就需要協(xié)同渲染:一是手機GPU根據(jù)實時交互渲染前景;二是遠(yuǎn)端GPU預(yù)渲染背景并進行編碼;三是將臨近的編碼數(shù)據(jù)幀預(yù)先傳輸?shù)绞謾C;四是手機CPU根據(jù)實時交互解壓并協(xié)同顯示。如果傳輸帶寬不足,可降低背景傳輸帶寬,離散化虛擬世界,預(yù)先渲染全景幀、采用H.264預(yù)先編碼;如果遇到延時挑戰(zhàn),可基于移動預(yù)測,手機預(yù)取置臨近的幀;手機上解碼一個全景幀大約需要40ms的時延,通過并行解碼顯著降低解碼時延。通過這樣設(shè)計,可把原來手機上只能看到的每秒5到7幀的內(nèi)容提升到每秒60多幀,跟手機刷新頻率差不多,并且30分鐘使用了手機不會發(fā)熱或發(fā)燙,GPU和CPU計算資源使用率尚可,網(wǎng)絡(luò)傳輸平均帶寬127-130Mbps。
邊緣計算確實是非常重要的技術(shù)創(chuàng)新,崔勇認(rèn)為,未來MEC的新業(yè)務(wù)和新需求還包括從VR到云游戲,以及沉浸式遠(yuǎn)程教學(xué)。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 深度聚焦性能和游戲體驗,一加 Ace 5系列售價2299元起
- 深度聚焦性能和游戲體驗,一加 Ace 5系列售價2299元起
- 中國信通院副院長魏亮:構(gòu)建算力互聯(lián)網(wǎng),實現(xiàn)異構(gòu)算力隨需獲取
- CCSA理事長聞庫:算力互聯(lián)網(wǎng)是解決資源供需矛盾的重要手段
- 2025年改變社區(qū)的6大智慧城市趨勢
- 社區(qū)力量與開源創(chuàng)新:共同塑造人工智能的安全與道德未來
- 未來已來:智能建筑技術(shù)的變革
- 人工智能和知識圖譜如何重新定義建筑行業(yè)?
- 智能建筑技術(shù):ESG合規(guī)與可持續(xù)運營的關(guān)鍵
- 融資啟新,“獨角獸”企業(yè)象帝先終迎曙光
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。