實現(xiàn)元宇宙，英偉達從打造基礎(chǔ)建設(shè)平臺開始

科技云報道原創(chuàng)。

很多人將元宇宙想象為電影《頭號玩家》的綠洲，但現(xiàn)實是人們才剛剛邁出構(gòu)建元宇宙的第一步，從打造虛擬場景開始。

在GTC 2021大會上，一段NVIDIA黃仁勛“以假亂真”的視頻，將NVIDIA Omniverse平臺展現(xiàn)在人們的視野。NVIDIA基于Omniverse提出的元宇宙概念拉近了虛幻與現(xiàn)實的距離，將人們對元宇宙的想象照進了現(xiàn)實。

事實上，為了讓元宇宙和真實世界一樣逼真，虛擬場景來源于真實世界的三維重建，需要進行大量的3D設(shè)計制作。這不僅對創(chuàng)意設(shè)計、影視制作等相關(guān)行業(yè)提出了降本增效的要求，也對3D制作背后的支撐技術(shù)提出了更高的要求。例如；元宇宙虛擬場景的大規(guī)模渲染，所需算力呈現(xiàn)指數(shù)級提升；元宇宙“沉浸感”、“低延時”、“隨地”的特性，對實時計算要求苛刻。

那么，實現(xiàn)元宇宙究竟需要怎樣的算力？人們?nèi)绾胃玫貐f(xié)作完成元宇宙場景的構(gòu)建？元宇宙為IT基礎(chǔ)設(shè)施技術(shù)帶來了哪些新的變化？

帶著這些核心議題，在7月14日由科技云報道主辦的《奔赴元宇宙》直播訪談節(jié)目中，NVIDIA中國區(qū)高級技術(shù)市場經(jīng)理施澄秋、NVIDIA網(wǎng)絡(luò)技術(shù)專家崔巖，與科技云報道執(zhí)行主編張穎展開了對話。

以下是訪談精編摘錄：

1、NVIDIA在元宇宙領(lǐng)域里是怎樣的定位？

施澄秋：NVIDIA是GPU的發(fā)明者，也是全球視覺運算行業(yè)的領(lǐng)袖，當(dāng)然現(xiàn)在已經(jīng)成為了引領(lǐng)人工智能運算的先鋒性企業(yè)。

在國內(nèi)，元宇宙的概念從去年開始逐漸火熱起來，其實是將自然的現(xiàn)實生活中的許多事物和場景，以1:1的物理方式準(zhǔn)確復(fù)制到虛擬世界中去，而這個虛擬世界正是由NVIDIA的GPU、DPU等各種不同的軟硬件解決方案和產(chǎn)品組成的一個綜合性平臺所打造的。我們把這個平臺稱之為Omniverse，這其實是英偉達想在未來實現(xiàn)元宇宙愿景的一個基礎(chǔ)建設(shè)平臺。

施澄秋：在傳統(tǒng)的虛擬場景制作工作流中，一個場景可能就包含各式各樣的元素，需要各類設(shè)計人員來實現(xiàn)，比如做材質(zhì)的、做架構(gòu)的、做建模的、做人物的等等。

由于每個設(shè)計人員都有不同的軟件入口，當(dāng)設(shè)計師A把自己的部分做完后，導(dǎo)出文件給設(shè)計師B，B在A的基礎(chǔ)上再去做他的部分，之后再把自己的部分從軟件里導(dǎo)出給到下一個設(shè)計師，這樣每一次數(shù)據(jù)都面臨著導(dǎo)入導(dǎo)出，大家長時間等待的過程，最終只有等所有工序都完成后才能看到效果。

Omniverse平臺就是要解決這一個問題，它是一個一站式的服務(wù)平臺。借助Omniverse，很多人可以同時從不同的地點訪問同一個數(shù)據(jù)資產(chǎn)集，而這些數(shù)據(jù)資產(chǎn)集在不同的ISV軟件中是實時調(diào)用的。不同的設(shè)計者在這個平臺上可以同時使用不同的軟件，實時看到項目的更新和變化。

對于傳統(tǒng)的設(shè)計人員來說，Omniverse平臺的優(yōu)勢在于可以實時遠程分工協(xié)作，快速到達數(shù)據(jù)資產(chǎn)，在不同的ISV專業(yè)軟件和工具之間迅速溝通、實時查看管理和審核的過程。

施澄秋：在過去，可以說是沒有協(xié)作，因為不同軟件之間的數(shù)據(jù)存儲格式基本不相通，只能做完一部分，先導(dǎo)出為其他軟件能用的文件格式，然后再導(dǎo)入另一個軟件去做下一部分，所以很難去做實時的協(xié)同工作，這個行業(yè)痛點一直都在。

施澄秋：每家公司都希望所有人能使用自己的軟件，在這樣的基礎(chǔ)上，過去很多軟件的數(shù)字資產(chǎn)是封閉的。當(dāng)大家發(fā)現(xiàn)這個世界需要更多的分享協(xié)同時，觀念轉(zhuǎn)變了，事情就開始往前推動了。

尤其是疫情來臨后，整個行業(yè)都處于一個大變革的時代，大家都面臨隨時遠程辦公的狀態(tài)。所以，這種遠程的、分散式的、分工協(xié)同的在線工作模式，就被提到日程上來了。英偉達所做的事情，正好處于大家認(rèn)知有所改變，也有市場需求的時刻。

施澄秋：算力問題一直存在，過去大部分的渲染是離線渲染，中間可能需要幾十個到上百個小時，甚至很多天，自然談不上實時渲染。

但好在整個互聯(lián)網(wǎng)的基礎(chǔ)設(shè)施建設(shè)推動了整個行業(yè)的發(fā)展。算力、人工智能、芯片等技術(shù)的發(fā)展，使得像素的渲染能力、圖形圖像的處理能力、網(wǎng)絡(luò)數(shù)據(jù)的傳輸能力都有了質(zhì)的提升，綜合起來達到了目前的高度，讓在線實時的分工協(xié)作變成了現(xiàn)實。

崔巖：一個支持實時在線分工協(xié)作的平臺，背后是有很強的算力或者基礎(chǔ)設(shè)施底層去支撐的。NVIDIA不光是在GPU領(lǐng)域，在加速計算、網(wǎng)絡(luò)技術(shù)、服務(wù)器體系架構(gòu)等領(lǐng)域都有非常好的技術(shù)支撐。

施澄秋：Omniverse平臺在過去三年里蓬勃增長，目前已支持上百款軟件，里面有個核心的功能叫做connect，可以把各式各樣的軟件連接起來。

Omniverse的核心叫做USD（Universal Scene Description），即通用的全局式場景的描述語言，它是NVIDIA和Pix公司合作的。

舉一個通俗的例子，我們上網(wǎng)的網(wǎng)頁是用html語言來寫的，聲音、圖像、文件等所有的東西都可以用html來表達。所以，USD對于設(shè)計和創(chuàng)意工作人員而言，就是Web1.0時代的html，我們用USD的方式去解決各個軟件之間的互聯(lián)互通。

當(dāng)我們看到用戶對一些專業(yè)軟件或者工具有需求，而這個軟件又可以引入對USD的支持，我們就會去促成這個軟件對USD的支持，從而完成Omniverse對這款軟件的支持。

在過去的三年里，我們一直在推動這件事件的發(fā)展。就像我一開場向大家介紹NVIDIA是GPU的發(fā)明者，同樣NVIDIA也是這個行業(yè)里的領(lǐng)導(dǎo)者，市場上幾乎所有的ISV軟件都以支持NVIDIA的GPU和優(yōu)化NVIDIA GPU的使用為首要任務(wù)，所以NVIDIA有非常強的凝聚力。我相信在可預(yù)見的將來，Omniverse支持軟件的數(shù)量還會不斷發(fā)展。

施澄秋：行業(yè)里一直存在一個問題，那就是人物的發(fā)音跟嘴型對不上。長時間以來，游戲角色的嘴就是胡亂一動，想要和角色說話對上，需要逐幀去刻畫，太難了。如果能夠用AI的方式來驅(qū)動人物的面孔，甚至能理解語義那該多好。

我們覺得應(yīng)該有這樣的功能，所以去開發(fā)了Audio2Face這樣的應(yīng)用。所謂Audio2Face，就是給到電腦一段文本或者一段聲音，首先它能夠理解這個文本的意思，理解人物的情緒是什么，然后將這些理解投射到人物的面部上來。當(dāng)這些聲情并茂的表情被實時渲染出來之后，再導(dǎo)出到一些ISV軟件中，立刻就能使用。

當(dāng)然，術(shù)業(yè)有專攻，我們做軟件肯定和專門做視覺特效的軟件公司差了十萬八千里。所以，Audio2Face只是一個公版的技術(shù)演示，用來演示NVIDIA的GPU、人工智能可以把渲染做成什么樣，把光線追蹤做成什么樣，告訴大家Omniverse平臺可以實現(xiàn)什么。

施澄秋：從技術(shù)上看，人物的表情其實是由很多個點組成的矩陣網(wǎng)絡(luò)形成的，由GPU渲染帶動每一個五官運動的方向，最后就變成了一個個活生生的面孔。

在這個過程中，首先要涉及到自然語言處理（NLP）的問題。NVIDIA對于會話式的AI有非常多的框架，去深度學(xué)習(xí)和理解人類的語言，同時把這個語言理解能力再利用到GPU渲染上。

當(dāng)我們把AI和GPU渲染這兩個能力融合起來，再加上我們RTX技術(shù)里的實時光線追蹤能力，就使得人物的表情更加活靈活現(xiàn)，人物的渲染更加逼真。

施澄秋：元宇宙其實是包羅萬象的，不僅僅只有美術(shù)創(chuàng)意人員或者設(shè)計人員，才是元宇宙的用戶。有一些用戶并沒有美術(shù)設(shè)計方面的需求，但他可能要模擬一個物件，比如工業(yè)自動化做數(shù)字孿生，或者游戲玩家想在元宇宙里去創(chuàng)建一個自己的角色。

對于NVIDIA而言，只要你參與到某一個工程中，就是一個工程師。無論是設(shè)計創(chuàng)意人員，還是做工業(yè)制造業(yè)數(shù)字孿生的，還是做科學(xué)研究的，其實都是工程人員，都可以參與到元宇宙這個龐大的工程里面去。

施澄秋：我可以舉幾個例子。

第一個例子，是NVIDIA和愛立信的合作。

對于電信運營商而言，選擇在什么地方部署5G基站，決定了基站的建設(shè)和運營成本，比如這個地方的用戶多不多、信號覆蓋好不好等等。所以我們利用Omniverse平臺去模擬部署了一個虛擬的5G基站，去追蹤5G信號的電波傳導(dǎo)方向，幫助愛立信在更加合適的地點、以更加優(yōu)秀的密度去部署5G基站，達到成本和效益的最佳化。

第二個例子，是NVIDIA和西門子的合作。

我們用Omniverse里的一個機器學(xué)習(xí)框架mod與西門子的Siemens Xcelerator模擬平臺合作，進行數(shù)據(jù)實時連接，并結(jié)合AI邊緣計算、云計算等能力，用數(shù)字孿生的方式去做工業(yè)模擬。比如，對熱鍋爐里的蒸汽、壓力、溫度、酸堿度等指標(biāo)，進行動態(tài)的實時的1:1模擬呈現(xiàn)，這樣就可以幫助工程人員更好地監(jiān)控和管理風(fēng)險。

原本在現(xiàn)實的工廠中做任何一個改變，都要做大量的評估，但是通過Omniverse數(shù)字孿生在虛擬出來的元宇宙世界中去做驗證，就可以對工業(yè)生產(chǎn)的整個流程帶來改進。

未來我們也期望有更多的元宇宙場景能夠放到Omniverse平臺中去應(yīng)用，比如自動駕駛、無人機的模擬訓(xùn)練等等。

崔巖：實時協(xié)作對工作負(fù)載的處理是非?？量痰?，需要精準(zhǔn)計時去同步，所以需要大規(guī)模的基礎(chǔ)設(shè)施來提供算力支撐。NVIDIA會針對不同客戶的應(yīng)用場景，在領(lǐng)先的GPU技術(shù)上去提供加速計算的能力。

比如，在今年春季GTC開發(fā)者大會上，NVIDIA就發(fā)布了一個名叫OVX的加速計算架構(gòu)，主要面向大規(guī)模數(shù)字孿生模擬，并在Omniverse平臺中運行。為此，NVIDIA提供了一套專用的硬件架構(gòu)。

具體而言，OVX服務(wù)器由8個NVIDIA A40 GPU、3個NVIDIA ConnectX-6 Dx 200Gbps網(wǎng)卡、1TB系統(tǒng)內(nèi)存和16TB NVMe存儲組成。OVX計算系統(tǒng)可從由8臺OVX服務(wù)器組成的單艙擴展到由32臺OVX服務(wù)器組成的OVX SuperPOD，并通過NVIDIA Spectrum-3交換結(jié)構(gòu)或多個OVX SuperPOD，來更好地支撐上層的Omniverse平臺和應(yīng)用，加速大規(guī)模數(shù)字孿生模擬。

施澄秋：我個人覺得無法預(yù)測。比如20年前，一個VCD的分辨率，大家都覺得挺棒，但后面陸續(xù)有了藍光、4K、8K......能不能做到無限大的分辨率，其實是沒有局限性的。

那么在元宇宙場景中，如何能夠達到一比一的仿真，就和在現(xiàn)實生活中一樣呢？這需要的算力根本沒有辦法用一個數(shù)字來形容，我只能說我們一直在努力把它做得更好、更真，整個行業(yè)大家共同推動這個球往前滾。

崔巖：元宇宙大家都會有很美好的預(yù)期，但是現(xiàn)在確實很難講算力可以達到什么樣的程度。我們只能從現(xiàn)有的GPU、CPU、DPU、加速計算、網(wǎng)絡(luò)等軟硬件上持續(xù)的努力，爭取保持領(lǐng)先，用相對短的時間，給大家呈現(xiàn)一個更好的元宇宙體驗。

崔巖：我認(rèn)為可以從軟件和硬件兩個層面來看。

在軟件層面，從NVIDIA整體發(fā)展方向來說，現(xiàn)在越來越強調(diào)軟件、平臺和綜合性能，或者說效果，用顯性的方式讓客戶看到技術(shù)帶來的實實在在的效果。當(dāng)然在軟件的支撐上要花很多功夫，去做算力平臺的優(yōu)化，以及基礎(chǔ)設(shè)施應(yīng)用的開發(fā)。比如DPU不會是簡簡單單做一顆芯片，而是會有專門的DOCA軟件開發(fā)平臺，讓客戶可以在上面做定制開發(fā)，Spectrum交換機也會開放SDK給客戶。

在硬件層面，NVIDIA在GPU上會持續(xù)的發(fā)力，性能的提升速度已遠超CPU的摩爾定律。除了前面提到的加速計算系統(tǒng)、相應(yīng)的硬件投入，我們也會在計算節(jié)點上進行高速互聯(lián)，為客戶提供高性價比、低延時、高安全性的計算平臺。

提到網(wǎng)絡(luò)互聯(lián)，其實我們不把網(wǎng)絡(luò)只當(dāng)作一種簡單的節(jié)點間連接設(shè)備或架構(gòu)，更多的把網(wǎng)絡(luò)也當(dāng)成是一種算力。

比如DPU，相當(dāng)于把網(wǎng)絡(luò)的一些功能，體現(xiàn)在這個服務(wù)器節(jié)點之內(nèi)，去發(fā)揮它的計算能力，它可以直接進行加密解密、存儲壓縮等。同時，我們也提供InfiniBand和以太網(wǎng)兩種方式來解決不同的應(yīng)用場景問題。

總體來說，在整個網(wǎng)絡(luò)架構(gòu)、芯片設(shè)計、網(wǎng)絡(luò)操作系統(tǒng)上，我們都在不斷優(yōu)化提升算力。另外，我們還有很多開放接口提供給客戶去做自己的應(yīng)用，大家共同在網(wǎng)絡(luò)方面去提升算力的支撐。

施澄秋：元宇宙必然是在云上，云服務(wù)商自然要在數(shù)據(jù)中心引入GPU算力，而不是純粹依賴CPU。在今后的云服務(wù)中，GPU的貢獻度會越來越高。

目前AWS、阿里云、騰訊云、百度云等國內(nèi)外領(lǐng)先的云服務(wù)商，或多或少都在使用GPU算力來支撐自己的應(yīng)用，比如推薦系統(tǒng)、廣告系統(tǒng)等。就像當(dāng)初AWS把自己的閑置算力以出租的方式提供給客戶一樣，未來這些云服務(wù)商也可能會把GPU的算力開放到元宇宙上。

在未來的數(shù)據(jù)中心里，GPU一定是一體式的，這些GPU必須能夠做到實時統(tǒng)一在線，并在不宕機的情況下實現(xiàn)資源的調(diào)度。所以，在未來元宇宙的構(gòu)建過程中，IT基礎(chǔ)設(shè)施建設(shè)必須要有GPU的實時參與，而且必須要讓IT專業(yè)管理人員能夠方便的、實時的去調(diào)度和分配資源。

崔巖：未來支撐元宇宙的數(shù)據(jù)中心，一定是3U（CPU,GPU,DPU）一體的，GPU在其中起加速計算的作用。

我也非常同意施老師的觀點，未來會把分散在不同節(jié)點里的GPU算力資源，通過網(wǎng)絡(luò)等技術(shù)手段，變成一顆大的GPU。用戶不用再去考慮某個GPU在哪個服務(wù)器節(jié)點里，而是能夠根據(jù)用戶的算力需求動態(tài)的調(diào)整算力資源。

從開放性上說，NVIDIA作為一個芯片原廠商，不可能把所有的行業(yè)應(yīng)用和場景都做了，所以一定會有ISV合作伙伴、客戶的研發(fā)團隊加入進來，在一個開放的體系中，以眾人拾柴火焰高的方式做出更好的應(yīng)用。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。