即構(gòu)科技 · 不同場景下如何實(shí)現(xiàn)最優(yōu)用戶體驗(yàn)？

AIMK3IOS4jeWQjOWcuuaZr+S4i+WmguS9leWunueOsOacgOS8mOeUqOaIt+S9k+mqjO+8nw=="/>

12月13-14日，LiveVideoStackCon音視頻技術(shù)大會在深圳舉辦。在解決方案專場，即構(gòu)科技解決方案架構(gòu)師張靖雨發(fā)表了《不同場景下如何實(shí)現(xiàn)最優(yōu)用戶體驗(yàn)》的主題演講。她首先從整體上介紹了即構(gòu)在保障用戶體驗(yàn)方面的思路，并通過三個(gè)具體的應(yīng)用場景詳細(xì)介紹即構(gòu)是如何保障不同場景下用戶的最優(yōu)體驗(yàn)。

大家好我叫張靖雨，是即構(gòu)科技的解決方案架構(gòu)師。即構(gòu)目前已經(jīng)為200多個(gè)國家和地區(qū)提供音視頻服務(wù)，在全球范圍內(nèi)有500多個(gè)BGP節(jié)點(diǎn)覆蓋，包括邊緣節(jié)點(diǎn)、中心節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)、流媒體節(jié)點(diǎn)。為眾多行業(yè)頭部平臺提供技術(shù)和服務(wù)，海外有UpLive、LiveMe、mico，泛娛樂有花椒、映客、喜馬拉雅，在線教育有好未來、一起作業(yè)網(wǎng)、掌門一對一等等。隨著音視頻的應(yīng)用越來越廣泛，即構(gòu)的服務(wù)客戶量也越來越大。目前即構(gòu)平均每天在線音視頻互動時(shí)長已經(jīng)達(dá)到了6億多分鐘，在這么大的使用量下，即構(gòu)是如何保障用戶的最優(yōu)體驗(yàn)?

兩個(gè)手段，保障用戶的優(yōu)質(zhì)體驗(yàn)

用戶體驗(yàn)一定是來自用戶，我們先來聽一聽用戶的聲音：“我看白板跟快進(jìn)一樣、我看視頻太卡了、我一打開就黑屏了”。作為技術(shù)人員，我們其實(shí)很難從這些反饋中找到真正的問題，但通過不斷積累，我們總結(jié)出用戶問題一般會分為兩個(gè)大類：一類在客戶端，有崩潰、卡頓。另一類在服務(wù)端，有延時(shí)、丟包、可用性。確定了問題的大致方向，下面我們來看解決的方法。實(shí)時(shí)音視頻最重要的功能就是推流和拉流，以前推拉流大部分用RTMP走CDN，但CDN無法統(tǒng)計(jì)推流數(shù)據(jù)。即構(gòu)對每一條流都做了實(shí)時(shí)監(jiān)控，能真實(shí)的看到用戶推/拉流是怎么樣的?流質(zhì)量好不好?

實(shí)時(shí)質(zhì)量回調(diào)

從客戶端進(jìn)行推拉流的操作開始，我們會每3秒進(jìn)行一次數(shù)據(jù)統(tǒng)計(jì)，包括推流的幀率、采樣率、碼率，質(zhì)量，推流端設(shè)備IP和型號等等，以回調(diào)的形式上報(bào)給后臺。加上即構(gòu)有整個(gè)云端的控制臺，可以監(jiān)測每一條流從一個(gè)用戶出發(fā)，到另一個(gè)用戶截止，它所經(jīng)歷的全過程，形成全棧監(jiān)控。

　　QOS策略

即構(gòu)的服務(wù)是基于全球公有云資源的融合云，可以快速平滑擴(kuò)容，快速切換公有云的云商，快速調(diào)度不同云的不同節(jié)點(diǎn)。我們通過以下兩點(diǎn)來保證我們的QOS：第一，即構(gòu)目前整個(gè)后端500多個(gè)BGP的節(jié)點(diǎn)之間，會以一定的頻率進(jìn)行互通測試，互通測試的結(jié)果構(gòu)成了即構(gòu)調(diào)度系統(tǒng)監(jiān)控平臺的數(shù)據(jù)基礎(chǔ)。即構(gòu)會實(shí)時(shí)撥測每兩個(gè)節(jié)點(diǎn)中間的延時(shí)質(zhì)量，采用多中心架構(gòu)，讓我們的邊緣節(jié)點(diǎn)不只覆蓋推流或者拉流一方，而是進(jìn)行多點(diǎn)調(diào)度。第二，即構(gòu)現(xiàn)在每天都有超6億分鐘的音視頻使用時(shí)長，覆蓋全球200多個(gè)國家和地區(qū)，這些大量的線上數(shù)據(jù)就構(gòu)成了即構(gòu)的云端網(wǎng)絡(luò)大數(shù)據(jù)平臺。我們會通過實(shí)時(shí)的線上數(shù)據(jù)來判斷每一個(gè)地區(qū)，每一個(gè)用戶，他到底走哪一條線路，哪一個(gè)邊緣節(jié)點(diǎn)，哪一個(gè)中心節(jié)點(diǎn)質(zhì)量最好。以上介紹了即構(gòu)如何從整體上保障每一個(gè)用戶每一條流，都以就近的、高質(zhì)量的完成每一次調(diào)度。落地到具體場景中，不同場景下用戶體驗(yàn)的側(cè)重點(diǎn)也有所差異。

“音視頻+AI”帶來的體驗(yàn)優(yōu)化

實(shí)時(shí)音視頻+AI的應(yīng)用場景非常多：

　　在線教育

今年大熱的AI智能課堂，可以在最大程度降低老師資源成本的情況下，讓學(xué)生獲得接近真人老師上課的智能體驗(yàn)。今年暑假，即構(gòu)AI課堂解決方案讓在線教育平臺的課時(shí)量增加了近10倍;

此外，教育平臺方還會構(gòu)建課堂質(zhì)量監(jiān)控平臺，依靠AI去識別老師上課的時(shí)候有沒有涉及到相關(guān)的敏感詞，老師的動作是否合乎禮儀，學(xué)生是否有打哈欠，有沒有在玩手機(jī)?

　　基建行業(yè)

在基建行業(yè)，音視頻+AI讓安全檢查更智能。即構(gòu)有一個(gè)海外基站的施工方客戶，客戶需要每一個(gè)施工人員上班之前先打開APP，通過視頻的方式去識別他的工裝和安全設(shè)備是否合規(guī)和完整。如果沒有的話，就緊急呼叫客服進(jìn)行視頻檢測和提醒。

泛娛樂行業(yè)

在泛娛樂行業(yè)，針對涉黃、涉政、涉賭、涉毒等違禁內(nèi)容的檢測已經(jīng)成為平臺規(guī)避運(yùn)營風(fēng)險(xiǎn)不可缺少的手段。

音視頻+AI帶來了更多新場景。在這些場景里，如何打通兩者，為用戶帶來最好的效果呢?

實(shí)時(shí)語音+AI鑒定

之前，客戶要在實(shí)時(shí)語音中加入語音識別，需要先找到即構(gòu)，再找科大訊飛等語音識別的廠商，分別集成兩家的方案，工作量非常大?；诖?，即構(gòu)做了和AI語音識別的打通方案，我們會先集成AI識別廠商的方案，提供一個(gè)實(shí)時(shí)的用于鑒別的即構(gòu)拉流器。

這個(gè)拉流器部署在AI廠商的后臺中，并按照業(yè)務(wù)方制定的鑒別策略去進(jìn)行實(shí)時(shí)語音拉流，將拉下來的流翻譯成文本文字進(jìn)行識別，識別數(shù)據(jù)實(shí)時(shí)回調(diào)給即構(gòu)的后臺，即構(gòu)再把數(shù)據(jù)關(guān)聯(lián)好回調(diào)給客戶后臺?？蛻敉ㄟ^這個(gè)方案，只需要集成一個(gè)即構(gòu)的SDK，就可以從后臺看到，哪個(gè)房間、哪一個(gè)主播、在什么時(shí)間段，可能有敏感內(nèi)容，然后及時(shí)的采取措施。

　　實(shí)時(shí)視頻+AI鑒定

實(shí)時(shí)視頻+AI鑒定有兩種方式：第一種是鑒別截圖。第二種是鑒別實(shí)時(shí)視頻碼流的關(guān)鍵幀。第一種方式比較常見，即構(gòu)在客戶端進(jìn)行截圖，然后上傳給AI方的后臺識別。第二種方式，即構(gòu)同樣會提供一個(gè)視頻的拉流器給AI方，然后在AI方的后臺實(shí)時(shí)拉流，即構(gòu)會負(fù)責(zé)解碼還原成原始的數(shù)據(jù)，然后AI方再對視頻碼流里面的關(guān)鍵幀內(nèi)容進(jìn)行識別，同樣它的結(jié)果會和即構(gòu)后臺的相關(guān)數(shù)據(jù)進(jìn)行打通，并最終回調(diào)給即構(gòu)的客戶后臺。即構(gòu)的音視頻+AI方案可以對接任意的AI廠商，不僅保障了用戶體驗(yàn)，還能根據(jù)客戶的真實(shí)業(yè)務(wù)場景，提供性價(jià)比最高的方案。TT語音是國內(nèi)語音領(lǐng)域的頭部玩家，用戶量非常龐大，此前TT語音進(jìn)行音視頻鑒別，每一條流轉(zhuǎn)換成文本進(jìn)行識別，會產(chǎn)生不菲的第三方的鑒別費(fèi)用。而通過即構(gòu)“音視頻+AI識別”解決方案，能夠把TT語音每個(gè)房間9個(gè)麥位，9個(gè)人的語音流合成一條給第三方鑒別，將TT語音的內(nèi)容鑒定費(fèi)壓縮到原來的近1/8。

　　“音視頻+互動白板”帶來的體驗(yàn)優(yōu)化

今年是在線教育比較火的一年，而在線教育客戶對音視頻質(zhì)量非常關(guān)注。現(xiàn)場如果有做教育的朋友應(yīng)該會知道，目前市場上除了即構(gòu)，幾乎沒有任何一家供應(yīng)商能夠把白板的傳輸和音視頻的傳輸同步起來。

這里的難點(diǎn)在于，實(shí)時(shí)音視頻走流媒體協(xié)議，有傳輸延時(shí)，但白板走信令通道，信令通道比流媒體通道的延時(shí)低。在跨區(qū)域跨國的課堂場景中，學(xué)生在外上課，經(jīng)歷基站切換，網(wǎng)絡(luò)斷開又恢復(fù)了，然后白板內(nèi)容和老師說的話就完全對不上。

針對弱網(wǎng)/斷網(wǎng)網(wǎng)絡(luò)恢復(fù)場景，即構(gòu)將兩個(gè)通道打通和對齊，實(shí)現(xiàn)音視頻和白板內(nèi)容的同步。通道的對齊，大家可能都會想到用時(shí)間戳：在實(shí)時(shí)音視頻里面打上時(shí)間戳，白板信令里也打上時(shí)間戳，每次播放的時(shí)候把兩個(gè)時(shí)間戳對齊了才播放。

這是一種方法，但有一個(gè)問題：時(shí)間戳的粒度選多長?如果粒度選的太大，在短暫的中斷之后，要等播放到時(shí)間戳才能對齊，延時(shí)大。如果粒度選的太小，那么實(shí)時(shí)傳輸?shù)臄?shù)據(jù)量會增加，甚至?xí)r間戳也會丟包。在這種情況下，即構(gòu)做了多重策略。第一，以大粒度去打時(shí)間戳但這個(gè)時(shí)間戳是以白板或者是文件共享中的動作為節(jié)點(diǎn)，比如畫了一個(gè)新的圖形，寫了一個(gè)新的字，從落筆到抬筆算一個(gè)動作，我們會以這種時(shí)間節(jié)點(diǎn)進(jìn)度來打時(shí)間戳。第二，白板節(jié)點(diǎn)信息與流媒體混編實(shí)時(shí)音視頻流媒體傳輸，允許將非媒體信息通過一個(gè)虛擬的幀插入媒體流信息中。在實(shí)時(shí)音視頻的流傳輸過程中，即構(gòu)通過媒體次要信息的接口，將白板的關(guān)鍵節(jié)點(diǎn)混編到流信息里。網(wǎng)絡(luò)正常時(shí)，通過時(shí)間戳對齊進(jìn)行播放;網(wǎng)絡(luò)異常時(shí)，通過解析視頻流里的媒體信息和白板的信令對齊。“音視頻+白板”方案，還有一個(gè)大家比較關(guān)心的點(diǎn)是錄制和回放。此前，白板和音視頻的回放都是從回放開始的時(shí)間做好對齊，然后再播放渲染。即構(gòu)可以將白板和音視頻對齊后再回放，那么不管出現(xiàn)暫停，快進(jìn)或是網(wǎng)絡(luò)突然中斷，白板內(nèi)容和音視頻內(nèi)容會始終保持同步的回放播放。

　　“音視頻+5G”下的體驗(yàn)優(yōu)化

即將到來的2020年將是5G大規(guī)模應(yīng)用的一年， 5G大帶寬、低延時(shí)、海量互聯(lián)的三大特性，將為我們帶來更多的新應(yīng)用場景和新的訴求。比如大帶寬下的4K高清課堂;低延時(shí)的自動駕駛、遠(yuǎn)程手術(shù)，多人線上K歌合唱、線上在線樂隊(duì)等等場景。即構(gòu)將根據(jù)5G網(wǎng)絡(luò)的特性，從端，網(wǎng)，云及底層引擎優(yōu)化多方面，對應(yīng)調(diào)整云端架構(gòu)，實(shí)現(xiàn)新應(yīng)用場景的快速落地。

端

5G下的新場景會帶來更多樣化的客戶端，未來可能會出現(xiàn)云手機(jī)、云端桌面、云端電腦。此外還有服務(wù)器，未來可能把嵌入式Linux的服務(wù)器壓縮在盒子里，用嵌入式有限的資源設(shè)備去傳輸8K/4K高清視頻。一些特殊設(shè)備，帶推流的麥克風(fēng)，帶直接推拉流的攝像頭，以及在醫(yī)療行業(yè)，還要打通醫(yī)療設(shè)備、手術(shù)操作設(shè)備的系統(tǒng)。即構(gòu)對每一款新設(shè)備都會進(jìn)行嚴(yán)格的測試，目前我們累計(jì)測試的客戶端類型已經(jīng)超過了15000種。

網(wǎng)

在網(wǎng)這部分，即構(gòu)堅(jiān)持：Anytime、Anywhere、Anyresource。即構(gòu)現(xiàn)在已經(jīng)覆蓋了500多BGP的節(jié)點(diǎn)，但5G下將面臨的一個(gè)問題是：以前我們所面對的基站都是宏基站，功率大，覆蓋范圍廣，而5G下是無數(shù)的微基站、皮基站，我們的架構(gòu)要怎么優(yōu)化?首先，網(wǎng)端盡量下沉到邊緣節(jié)點(diǎn)用戶與邊緣節(jié)點(diǎn)的距離越長，會造成更多的延時(shí)。而下沉邊緣節(jié)點(diǎn)就意味著節(jié)點(diǎn)數(shù)量的增加，節(jié)點(diǎn)選型的難度加大，并且下沉邊緣節(jié)點(diǎn)后，還要做不一樣的傳輸、調(diào)度。其次，優(yōu)化每個(gè)邊緣節(jié)點(diǎn)的算力4G網(wǎng)絡(luò)下一條1080P30幀的高清視頻流，碼率只有5M，一臺4核8G的服務(wù)器能夠同時(shí)推600條流;但5G下一條4K30幀的視頻流，碼率會達(dá)到30M，在5G單條流帶寬資源增長6倍的情況下，我們需要讓每一臺四核8G的服務(wù)器還能同時(shí)處理200~300條5G的流，才能實(shí)現(xiàn)成本與性能的平衡。

云

在云端，針對每一個(gè)不同的業(yè)務(wù)形態(tài)，我們通過網(wǎng)絡(luò)切片和CU轉(zhuǎn)控分離來保證每一個(gè)場景的業(yè)務(wù)形態(tài)，都能獲得最優(yōu)資源，實(shí)現(xiàn)最好的效果。5G在網(wǎng)絡(luò)上帶來最大的一個(gè)變化，是進(jìn)行網(wǎng)絡(luò)切片。以4K直播為例，之前的方案中，觀眾觀看直播大部分都會走CDN，而CDN的延時(shí)在3~10秒，主播和觀眾打賞互動之間會有明顯的延時(shí)。現(xiàn)在越來越多的直播客戶，希望即構(gòu)提供的方案能支持4K直播，但不想走實(shí)時(shí)網(wǎng)絡(luò)，因?yàn)槌杀咎撸膊幌胱逤DN，因?yàn)镃DN太慢。因此，即構(gòu)推出5G下的中延時(shí)方案，它快于CDN傳輸，但又不是實(shí)時(shí)的效果，它的延時(shí)在1秒左右。中延時(shí)方案以3-10秒延時(shí)的成本，實(shí)現(xiàn)1秒延時(shí)的效果，在不增加成本的基礎(chǔ)上提供更好的用戶體驗(yàn)。除了網(wǎng)絡(luò)切片，云端另一個(gè)優(yōu)化是CU分離，控制面和用戶面完全分離，將邊緣節(jié)點(diǎn)下沉，最大化的靠近用戶面。

　　優(yōu)化底層引擎

除了端、網(wǎng)、云的改造，在5G網(wǎng)絡(luò)下，我們還要對整個(gè)編碼邏輯進(jìn)行優(yōu)化。

大家想象一下，當(dāng)大量流數(shù)據(jù)已經(jīng)能夠在50毫秒內(nèi)進(jìn)行傳輸，但因?yàn)榫幗獯a關(guān)鍵幀的間隔，也就是GOP中的I幀間隔還是2秒，會導(dǎo)致什么情況?會導(dǎo)致雖然流數(shù)據(jù)到了，但是2秒的關(guān)鍵幀間隔讓播放器無法立刻顯示下一幀畫面，用戶體驗(yàn)到的還是2秒的延時(shí)。4G網(wǎng)絡(luò)下，2秒的關(guān)鍵幀間隔是最實(shí)時(shí)最快效果最好的值，但在5G下，我們可以把關(guān)鍵幀間隔調(diào)到1.8秒，并且預(yù)緩存一個(gè)GOP，這個(gè)GOP只存儲上一幀的關(guān)鍵幀數(shù)據(jù)。當(dāng)流數(shù)據(jù)到達(dá)，我們就能先從緩存的GOP中調(diào)取上一個(gè)關(guān)鍵幀數(shù)據(jù)，成為首幀。用戶的體驗(yàn)立刻升級了：一打開就能馬上看到畫面，實(shí)現(xiàn)5G下的首幀秒開。

在5G即將到來之際，即構(gòu)將繼續(xù)打磨產(chǎn)品和技術(shù)，為用戶提供5G新場景下的更優(yōu)體驗(yàn)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。