FBEC2023 | 耀宇視芯 CEO杜逢博：協(xié)處理器對于XR所帶來的改進與提升

FBEC2023未來商業(yè)生態(tài)鏈接大會暨第八屆金陀螺獎于2023年12月8日在深圳福田大中華喜來登酒店6樓盛大召開，本次大會由廣東省游戲產(chǎn)業(yè)協(xié)會、深圳市互聯(lián)網(wǎng)文化市場協(xié)會指導，陀螺科技主辦，中國光谷、游戲陀螺、VR陀螺、陀螺財經(jīng)、陀螺電競聯(lián)合主辦。

大會以“合力共生·韌者行遠”為大會主題，以具有行業(yè)前瞻洞察的“航行者”為視角，破冰之旅為主線，關(guān)注AI、元宇宙、XR、游戲、電競、數(shù)字經(jīng)濟等科技與互聯(lián)網(wǎng)前沿領(lǐng)域，全方位呈現(xiàn)科技前沿成果，聚焦時代與商業(yè)熱點議題，探討新科技、新商業(yè)、新模式的未來價值，與真正的勇者共赴劇變革新下的凜冬破冰之旅！

主會場C：元生未來，共鏈價值——2023全球元宇宙產(chǎn)業(yè)核心技術(shù)論壇，邀請到耀宇視芯 CEO杜逢博帶來主題為“協(xié)處理器對于AR頭顯的必要性”的精彩演講。杜逢博認為，從交互算法到數(shù)據(jù)傳輸再到顯示渲染，協(xié)處理器將會顯著改善VR/AR設(shè)備的延遲與功耗。

以下為演講實錄：

大家，下午好！今天主要想和大家探討的是協(xié)處理器對于AR所帶來的改進和提升。

目前XR領(lǐng)域頭部兩個大廠，蘋果與微軟都在其產(chǎn)品中使用了協(xié)處理器。其實，微軟2016年推出的第一代HoloLens便使用了協(xié)處理器HPU，蘋果今年發(fā)布的Vision Pro則自帶了R1協(xié)處理器。兩家廠商不約而同地都將XR設(shè)備區(qū)別于傳統(tǒng)消費電子產(chǎn)品的功能承載在協(xié)處理器上，同時也都明確提出了延遲這一參數(shù)指標，其中微軟HoloLens的MTP可以實現(xiàn)小于1毫秒的延遲，而Vision Pro的VST則做到了小于12毫秒的延遲。

在我們看來，延遲這一參數(shù)主要取決于3個因素，一是交互算法，其中頭部空間定位主要取決于SLAM技術(shù)；二是數(shù)據(jù)傳輸；三是顯示渲染。

首先在交互算法上，對于傳統(tǒng)VR/AR一體機，尤其是AR的Expose（曝光時間）一般是3毫秒，之后圖像便會向外輸出，Readout時間約為6-7毫秒。而對于一體機來說，圖像輸出完會進入主芯片，在主芯片里面花費15毫秒左右的時間，利用CPU或者是DSP處理特征提取、匹配相關(guān)的算法。最后在10毫秒左右時間內(nèi)，基于滑窗的非線性優(yōu)化或者濾波器方式解算6Dof的空間定位結(jié)果。以上整個視覺處理的延遲基本會控制在35毫秒左右。

值得注意的是，如果采用分體積方式，處理延遲還會進一步增加至38-55毫秒左右，這取決于中間傳輸?shù)膫鬏敺绞?。在如此明顯的延遲之下，協(xié)處理器的加入將有效降低交互算法的延遲。

在協(xié)處理器輔助下，雖然曝光時間依然是3毫秒，但到了Readout階段，由于操作都是在協(xié)處理器里面的，無需緩存所有的圖像，因此只要十幾行圖像就可以進行特征提取和匹配計算，約等于整個Readout時間結(jié)束后，SLAM算法中的特征提取和匹配算法已經(jīng)結(jié)束，特征提取和匹配操作隱藏在Readout時間內(nèi)。之后再花費額外3毫秒時間處理基于滑窗的非線性優(yōu)化模塊解算6Dof空間定位后，便可以傳輸處理完成的空間定位結(jié)果。相比圖像數(shù)據(jù)量大幅減少，完成傳輸僅需1-2毫秒。

在有協(xié)處理器的情況下，SLAM視覺鏈路延遲會降低至13-14毫秒，這帶來最大的好處是IMU積分的時間大幅縮短，對于諸如加速度器這樣需要二次積分的傳感器來說，不僅能提升傳輸精度，還能有效降低抖動。

其次，顯示渲染。在一個4幀圖像的時間序列中，傳統(tǒng)的方式在Vsync 0時刻獲得最新定位結(jié)果并傳輸給GPU進行渲染，渲染完1幀以后，經(jīng)常會用雙緩沖的方式對屏幕進行刷新，在傳統(tǒng)的雙緩沖模式下，信息在Vsync 2時刻才能完成圖像刷新，整個過程延遲非常大，如果不做任何處理的話，幾乎無法獲得很好的效果。

因此，在渲染階段我們一般都會使用單緩沖方式，即在渲染完成后直接上屏處理，通過控制上屏時間避免畫面撕裂。但即便如此，整個延遲還是處在接近30毫秒的程度。此時，我們一般還會通過PW或者是ATW進行補償，在屏幕刷新之前再次獲取最新的定位的結(jié)果，利用該結(jié)果對已經(jīng)渲染完成的圖像做一次延遲補償，重新輸出到屏幕。

該方式可以將延遲壓縮至十幾毫秒，卻仍舊無法達到理想的效果。因此一般我們還會在最新的Get Pose基礎(chǔ)下加入往前的位姿預測，基于IMU數(shù)據(jù)擬合往前積分，獲得未來的定位結(jié)果。

此外，還可以選擇根據(jù)歷史的運動數(shù)據(jù)構(gòu)建一個復雜的運動模型，用該模型預測未來十幾毫秒之后可能存在的定位結(jié)果，對圖像進行補償。

但不可否認的是即使預測算法再好，預測總歸是預測，總有預測不準的時候。此時，協(xié)處理器的優(yōu)勢就得到了體現(xiàn)，其可以大幅降低甚至完全消除預測時間，讓整個渲染過程不需要進行任何的預測，而是直接將實時結(jié)果傳輸至屏幕。

基于以上對延遲的考量，耀宇視芯推出了第一代協(xié)處理器“啟明”，并在典型場景下取得了不錯的功耗表現(xiàn)。在視覺雙目30fps，1000Hz IMU條件下，協(xié)處理器“啟明”功耗維持在164mw左右；在雙目100fps+1000Hz IMU條件下，功耗維持在193mw左右；在VR典型場景下，四目30fps條件下功耗維持在200mw以內(nèi)。

總的來看，耀宇視芯第一代協(xié)處理器“啟明”會給VR/AR設(shè)備在空間定位上帶來大幅功耗及延遲的降低。歡迎各位到現(xiàn)場體驗，謝謝大家！    

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。