FBEC2023未來商業(yè)生態(tài)鏈接大會暨第八屆金陀螺獎于2023年12月8日在深圳福田大中華喜來登酒店6樓盛大召開,本次大會由廣東省游戲產(chǎn)業(yè)協(xié)會、深圳市互聯(lián)網(wǎng)文化市場協(xié)會指導,陀螺科技主辦,中國光谷、游戲陀螺、VR陀螺、陀螺財經(jīng)、陀螺電競聯(lián)合主辦。
大會以“合力共生·韌者行遠”為大會主題,以具有行業(yè)前瞻洞察的“航行者”為視角,破冰之旅為主線,關注AI、元宇宙、XR、游戲、電競、數(shù)字經(jīng)濟等科技與互聯(lián)網(wǎng)前沿領域,全方位呈現(xiàn)科技前沿成果,聚焦時代與商業(yè)熱點議題,探討新科技、新商業(yè)、新模式的未來價值,與真正的勇者共赴劇變革新下的凜冬破冰之旅!
主會場C:元生未來,共鏈價值——2023全球元宇宙產(chǎn)業(yè)核心技術論壇,邀請到耀宇視芯 CEO杜逢博帶來主題為“協(xié)處理器對于AR頭顯的必要性”的精彩演講。杜逢博認為,從交互算法到數(shù)據(jù)傳輸再到顯示渲染,協(xié)處理器將會顯著改善VR/AR設備的延遲與功耗。
以下為演講實錄:
大家,下午好!今天主要想和大家探討的是協(xié)處理器對于AR所帶來的改進和提升。
目前XR領域頭部兩個大廠,蘋果與微軟都在其產(chǎn)品中使用了協(xié)處理器。其實,微軟2016年推出的第一代HoloLens便使用了協(xié)處理器HPU,蘋果今年發(fā)布的Vision Pro則自帶了R1協(xié)處理器。兩家廠商不約而同地都將XR設備區(qū)別于傳統(tǒng)消費電子產(chǎn)品的功能承載在協(xié)處理器上,同時也都明確提出了延遲這一參數(shù)指標,其中微軟HoloLens的MTP可以實現(xiàn)小于1毫秒的延遲,而Vision Pro的VST則做到了小于12毫秒的延遲。
在我們看來,延遲這一參數(shù)主要取決于3個因素,一是交互算法,其中頭部空間定位主要取決于SLAM技術;二是數(shù)據(jù)傳輸;三是顯示渲染。
首先在交互算法上,對于傳統(tǒng)VR/AR一體機,尤其是AR的Expose(曝光時間)一般是3毫秒,之后圖像便會向外輸出,Readout時間約為6-7毫秒。而對于一體機來說,圖像輸出完會進入主芯片,在主芯片里面花費15毫秒左右的時間,利用CPU或者是DSP處理特征提取、匹配相關的算法。最后在10毫秒左右時間內(nèi),基于滑窗的非線性優(yōu)化或者濾波器方式解算6Dof的空間定位結(jié)果。以上整個視覺處理的延遲基本會控制在35毫秒左右。
值得注意的是,如果采用分體積方式,處理延遲還會進一步增加至38-55毫秒左右,這取決于中間傳輸?shù)膫鬏敺绞?。在如此明顯的延遲之下,協(xié)處理器的加入將有效降低交互算法的延遲。
在協(xié)處理器輔助下,雖然曝光時間依然是3毫秒,但到了Readout階段,由于操作都是在協(xié)處理器里面的,無需緩存所有的圖像,因此只要十幾行圖像就可以進行特征提取和匹配計算,約等于整個Readout時間結(jié)束后,SLAM算法中的特征提取和匹配算法已經(jīng)結(jié)束,特征提取和匹配操作隱藏在Readout時間內(nèi)。之后再花費額外3毫秒時間處理基于滑窗的非線性優(yōu)化模塊解算6Dof空間定位后,便可以傳輸處理完成的空間定位結(jié)果。相比圖像數(shù)據(jù)量大幅減少,完成傳輸僅需1-2毫秒。
在有協(xié)處理器的情況下,SLAM視覺鏈路延遲會降低至13-14毫秒,這帶來最大的好處是IMU積分的時間大幅縮短,對于諸如加速度器這樣需要二次積分的傳感器來說,不僅能提升傳輸精度,還能有效降低抖動。
其次,顯示渲染。在一個4幀圖像的時間序列中,傳統(tǒng)的方式在Vsync 0時刻獲得最新定位結(jié)果并傳輸給GPU進行渲染,渲染完1幀以后,經(jīng)常會用雙緩沖的方式對屏幕進行刷新,在傳統(tǒng)的雙緩沖模式下,信息在Vsync 2時刻才能完成圖像刷新,整個過程延遲非常大,如果不做任何處理的話,幾乎無法獲得很好的效果。
因此,在渲染階段我們一般都會使用單緩沖方式,即在渲染完成后直接上屏處理,通過控制上屏時間避免畫面撕裂。但即便如此,整個延遲還是處在接近30毫秒的程度。此時,我們一般還會通過PW或者是ATW進行補償,在屏幕刷新之前再次獲取最新的定位的結(jié)果,利用該結(jié)果對已經(jīng)渲染完成的圖像做一次延遲補償,重新輸出到屏幕。
該方式可以將延遲壓縮至十幾毫秒,卻仍舊無法達到理想的效果。因此一般我們還會在最新的Get Pose基礎下加入往前的位姿預測,基于IMU數(shù)據(jù)擬合往前積分,獲得未來的定位結(jié)果。
此外,還可以選擇根據(jù)歷史的運動數(shù)據(jù)構建一個復雜的運動模型,用該模型預測未來十幾毫秒之后可能存在的定位結(jié)果,對圖像進行補償。
但不可否認的是即使預測算法再好,預測總歸是預測,總有預測不準的時候。此時,協(xié)處理器的優(yōu)勢就得到了體現(xiàn),其可以大幅降低甚至完全消除預測時間,讓整個渲染過程不需要進行任何的預測,而是直接將實時結(jié)果傳輸至屏幕。
基于以上對延遲的考量,耀宇視芯推出了第一代協(xié)處理器“啟明”,并在典型場景下取得了不錯的功耗表現(xiàn)。在視覺雙目30fps,1000Hz IMU條件下,協(xié)處理器“啟明”功耗維持在164mw左右;在雙目100fps+1000Hz IMU條件下,功耗維持在193mw左右;在VR典型場景下,四目30fps條件下功耗維持在200mw以內(nèi)。
總的來看,耀宇視芯第一代協(xié)處理器“啟明”會給VR/AR設備在空間定位上帶來大幅功耗及延遲的降低。歡迎各位到現(xiàn)場體驗,謝謝大家!
- 蜜度索驥:以跨模態(tài)檢索技術助力“企宣”向上生長
- 高燃直擊2024世界智能制造博覽會!譜寫智能制造領域全新篇章
- 中泰文化交流新篇章:賽氪與寰宇播客營聯(lián)合中南財經(jīng)政法大學及多方舉辦泰國留學生交流活動
- 2025醫(yī)藥數(shù)智營銷創(chuàng)新峰會“金創(chuàng)獎”獎項申報啟動!
- 2024第五屆亞太銀行數(shù)字化創(chuàng)新大會圓滿落幕
- 2024年被稱為“低空經(jīng)濟元年”!倒計時15天 | 2025中國eVTOL創(chuàng)新發(fā)展大會報名中
- 匯聚技術星火 點亮生態(tài)星空
- GTF2025攜航空和燃氣輪機全產(chǎn)業(yè)鏈優(yōu)勢資源全新回歸上海
- 潮玩風暴來襲,2025 ChinaJoy 潮玩手辦及模型展區(qū)招商火爆!
- 普渡機器人發(fā)布首款全人形機器人PUDU D9
- 【創(chuàng)新金融驅(qū)動力】2025中原金融科技節(jié)擘畫中原金融科技新未來!
免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。