有“聲”聚一堂|RTE 2021 編程挑戰(zhàn)賽圓滿收官

6 月 12 日,由聲網Agora 與環(huán)信聯合主辦的“RTE 2021 編程挑戰(zhàn)賽”圓滿落幕。從 200+ 支參賽隊伍中沖出重圍的 46 支決賽隊伍用精彩的答辯為歷時 2 個多月的大賽劃下了圓滿的句號。

今年的“RTE 2021 創(chuàng)新編程挑戰(zhàn)賽”共分為 2 個賽道:應用創(chuàng)新賽道延續(xù)了「使用聲網Agora SDK 開發(fā)應用」的賽題;技術創(chuàng)新賽道開發(fā)者可以「利用聲網云市場插件接口,開發(fā)自研插件與功能演示 Demo」。

盡管此次的賽制與賽題對參賽隊伍提出了更高的要求,但同時也為大家提供了獨有的技術創(chuàng)新空間。相較去年而言,兩個賽道的報名隊伍及提交作品幾乎都是去年的一倍。

本次大賽的決賽和頒獎都是通過 Agora Video Call App 在線上進行的,全程通過 B 站進行了直播。 最終,決賽共誕生了應用創(chuàng)新賽道的一、二、三等獎團隊各一名,“環(huán)信專項獎”一名,以及“優(yōu)秀獎” 六名;技術創(chuàng)新賽道“技術創(chuàng)新專項獎”一名,“優(yōu)秀獎”一名。

有“聲”聚一堂

應用創(chuàng)新賽道

一等獎:Agora Home AI

隨著智能設備性能提升和網絡的快速發(fā)展,以音視頻為基礎的智能硬件也正在蓬勃發(fā)展中。跨品牌、跨產品的設備管理也成為縈繞在用戶日常使用中繞不開的一個話題。

「Agora Home AI」 系統(tǒng)以智能家居為主題,使用云信令 SDK 實現了IoT 設備遠程控制。同時,通過聲網Agora RTC SDK 實現人與機器的 1V1 視頻,將機器人端采集到的視頻發(fā)送至 PC 控制中心,進行 AI 智能檢測,觸發(fā)事件響應。

有“聲”聚一堂

系統(tǒng)采用開源了 Yolo V3 算法進行各種視頻數據的處理,支持 C#、C++ 調用;Unity 3D、VS 系列開發(fā)。目前已支持 Yolo 基礎 80 種物體識別、安全帽識別、冰球識別文件等。采用聲網提供的云信令 SDK 進行遠程設備控制,構建群組房間進行消息實時通信,支持通過自定義協議進行智能硬件的控制。

「Agora Home AI」可以幫助用戶實現可穿戴設備、智能家具設備、視頻監(jiān)控設備接入何控制。包括智能燈光、智能門窗、智能門鎖、智能安防、智能手環(huán)監(jiān)測、智能家電控制等配套產品,讓用戶實現多種品牌的智能設備在統(tǒng)一的交互平臺內互聯互通、統(tǒng)一管理、智能聯動。為給用戶創(chuàng)造更舒適、更安全、更節(jié)能的家居生活環(huán)境。

二等獎:Agora FIow

獲得第二名的作品「Agora Flow」是一個基于聲網+環(huán)信 SDK 搭建的音視頻 Low Code Web 共享編輯器。

作品的靈感來源于在使用聲網Agora SDK 的過程中,創(chuàng)作者一直在思考關于音視頻服務除了以 SDK 的形式啦哎提供服務和為開發(fā)者賦能外,還有沒有別的形式呢?Low Code 就是這樣一個可能的解決方案。將音視頻相關功能進行模塊化集成,提供一個圖形化界面,讓開發(fā)者可以用做 PPT 的形式來完成想要實現的功能。

作品通過聲網的音視頻傳輸及云信令 SDK 產品,提供了基于 Web 的集成了 RTC Chat SDK 的模版工程,通過 CodeGen 來生成配置項。實現了在線流程圖編輯器 Low Code 項目的自動生成。作品中的一切的操作幾乎都可以通過拖拽來完成。

有“聲”聚一堂

有開發(fā)者開玩笑說,這次的大賽作品很多都是開發(fā)了一個 App,而「Agora Flow」則是做了一個幫助開發(fā)者能更好開發(fā) App 的項目。

三等獎:都市探險家

「都市探險家」項目是一款利用地圖 LBS + 云信令 SDK + 實時音視頻構建的社交產品。這款產品為想要尋找共同愛好的新朋友并一起在都市進行旅游、探索的小伙伴而設計。

有“聲”聚一堂

產品的使用十分簡單便捷,用戶注冊登錄后,通過 LBS 地圖會自動更新用戶所在位置,只要點擊“發(fā)起任務”并選擇“探險”人數,用戶就可以與小伙伴進行一次全新的都市探險啦。

對于 RTE 場景而言,產品中實現了多人語聊房場景。并且,通過云信令 SDK 的使用結合了實際的業(yè)務場景,對于當下的語聊房場景進行了拓展。 產品未來也會接入視頻聊天的功能,讓沒有辦法即時出行的小伙伴也能共同參與到城市的探險當中。

環(huán)信專項獎:忘憂館

「忘憂館」是一個很有溫度的作品,希望可以幫助現代生活中的人們通過彼此傾訴忘掉煩惱、解除憂愁,傳播正能量。

有“聲”聚一堂

這是一款陌生人社交 App,包含信息流。結合了幾種最常見的社交產品形態(tài),包括文字聊天,通話等等。讓一些不方便與親人和朋友訴說的煩惱,可以在和陌生人交流時找到共鳴與安慰。

優(yōu)秀獎:Vchat

「Vchat」利用人臉骨骼識別和云信令 SDK 實現了虛擬 3D 角色的實時通話。使用 tensorflow.js 的 WebGL 引擎作為后端,使用現有開源的人臉識別模型通過攝像頭識別人臉的位置以及五官的狀態(tài)。再通過 Three.js 和 Vrm.js 將人臉數據實時更新到虛擬的 3D 模型上。

有“聲”聚一堂

在視頻部分,通過實時消息 RTM SDK 將人臉骨骼數據實時傳輸到頻道中讓其他用戶訂閱還原人臉。而語音部分則是通過 RTC SDK 將聲音進行實時傳輸并讓用戶進行訂閱??蓪崿F同步換臉、變聲聊天等功能。

除了上述的「Vchat」以外,還有「靈動課堂答題組件」、「Agora X-Runtime」、「Weln」、「歡信(bla-bla.app)」、「智能AR毛筆臨摹教學系統(tǒng)/CopyTeachWorks」作品獲得了此次大賽“應用創(chuàng)新賽道”的優(yōu)秀獎。關于這些優(yōu)秀的作品可能沒有辦法在這里跟大家一一呈現,感興趣的小伙伴可以前往我們的 Github 倉庫進行查看。

技術創(chuàng)新賽道

技術創(chuàng)新專項獎:人臉識別

「技術創(chuàng)新專項獎」是為“技術創(chuàng)新賽道”專門設置的一個獎項。獲獎作品是一個在 iOS 平臺上使用使用 AgoraEngineKit2 開發(fā)接入一個基于 C++ 語言封裝的「人臉識別」插件。

作品通過 TYSMExtensionManger 類與對外交互,對內則處理插件實現的相關邏輯。將 IExtensionProvider、IVideoFilter 和自己的開發(fā)的 Processer 都放在同一個地方。用 framework 方式對外公開兩個文件,既方便開發(fā)者查閱,同時也可作為作為參數傳遞,增強代碼可閱讀性。

有“聲”聚一堂

該插件可以支持人臉檢測、追蹤、以及多臉的追蹤識別,對臉部輪廓、眼睛、眉毛、鼻子、嘴巴等識別到的區(qū)域以 3D 點狀作出反饋。

優(yōu)秀獎:Water Mask

「Water Mask」項目是“技術賽道”中的參賽作品,通過在聲網 SDK 的視頻采集或者播放環(huán)節(jié),在 YUV 域上或者編碼后添加圖片或文字類型的隱性水印。

有“聲”聚一堂

隱性水印(盲水印)添加后,用戶不能直接看到視頻中的水印信息。在保護視頻發(fā)布者版權的同時,也保障了用戶的視頻觀看體驗。未來,「Water Mask」還希望在音頻處理上,可以擴展聲紋水印,在視頻版權追溯、認證防偽等場景為行業(yè)帶來更多、更好的體驗。

以上就是本屆 「RTE 2021 編程挑戰(zhàn)賽」的部分獲獎作品及團隊情況。關于本次挑戰(zhàn)賽的更多作品情況將開源在 Github,感興趣的小伙伴可前往進行查看。

獲獎團隊除了會得到本季度大賽獎金,還可以申請進入聲網Agora 招聘綠色通道,以及在一年內享受創(chuàng)業(yè)支持計劃的福利。

(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )