8月22日，“騎到AI背上去”2023釘釘生態(tài)大會(huì)在上海舉辦。在數(shù)字員工專(zhuān)場(chǎng)分論壇上，釘釘副總裁、音視頻事業(yè)部負(fù)責(zé)人趙加雨發(fā)表主題演講，分享了釘釘音視頻在智能化方面的進(jìn)展和應(yīng)用，以及基于釘釘AI PaaS，視頻會(huì)議場(chǎng)域未來(lái)的開(kāi)放展望。
趙加雨談到，釘釘從4月就宣布要全面接入大模型，完成智能化再造，隨著AI與音視頻的結(jié)合越來(lái)越深入，釘釘會(huì)議里也實(shí)現(xiàn)了諸多創(chuàng)新應(yīng)用，除了之前的實(shí)時(shí)翻譯、字幕轉(zhuǎn)寫(xiě)、智能摘要，這次還發(fā)布了數(shù)字分身代替參會(huì)、自然語(yǔ)言控制會(huì)議操作、文生虛擬背景三項(xiàng)新功能。其中，數(shù)字分身可以在會(huì)議時(shí)間發(fā)生沖突時(shí)，替代用戶(hù)列席參會(huì)，并能實(shí)時(shí)同步相關(guān)會(huì)議信息和結(jié)論。
他表示，未來(lái)，釘釘音視頻希望能將更多的場(chǎng)域開(kāi)放給生態(tài)伙伴，共同構(gòu)建豐富的、有價(jià)值的應(yīng)用，提升用戶(hù)的體驗(yàn)和效率。同時(shí)，釘釘也計(jì)劃將音視頻SDK嵌入生態(tài)伙伴的應(yīng)用中，共同打造優(yōu)質(zhì)、易用的音視頻解決方案，滿足不同行業(yè)和場(chǎng)景的需求。
以下為趙加雨的演講全文：
體驗(yàn)和智能化，是釘釘音視頻事業(yè)部過(guò)去一年兩個(gè)核心的關(guān)鍵詞。
在體驗(yàn)方面，去年我們成立了專(zhuān)項(xiàng)，從內(nèi)到外做了大量的優(yōu)化，現(xiàn)在釘釘會(huì)議的整個(gè)界面交互上，會(huì)更美觀、更便捷、更沉浸。同時(shí)，在底層技術(shù)架構(gòu)上，從采集、播放、編解碼、網(wǎng)絡(luò)到服務(wù)端，我們也做了全鏈路的優(yōu)化。音視頻尤其是視頻會(huì)議，我們開(kāi)會(huì)的時(shí)候最基本的訴求就是能夠開(kāi)好會(huì)，聽(tīng)得到對(duì)方的聲音，所以我們?cè)谝纛l算法、抗弱網(wǎng)方面做了提升，也期待大家可以多使用我們的釘釘會(huì)議。
講到智能化，其實(shí)視頻會(huì)議這個(gè)領(lǐng)域在這次大模型之前，就和AI做了非常多的結(jié)合，在音頻算法、視頻算法中融入了AI技術(shù)。比如，視頻算法相關(guān)的AI應(yīng)用，有美顏、虛擬背景，這些都是大家非常熟悉的場(chǎng)景應(yīng)用。而音頻算法也結(jié)合了AI實(shí)現(xiàn)更好的降噪效果，目前，釘釘會(huì)議上已經(jīng)支持消除300多種常見(jiàn)噪音，比如汽車(chē)?yán)嚷?、鍵盤(pán)敲擊聲，讓用戶(hù)開(kāi)會(huì)更專(zhuān)注。
我們?cè)跁?huì)議里還有一種常見(jiàn)的需求就是字幕，本質(zhì)上也是AI能力?，F(xiàn)在釘釘會(huì)議里也全面接入了阿里通義聽(tīng)悟，支持中英日三種語(yǔ)言的互譯，實(shí)現(xiàn)實(shí)時(shí)的轉(zhuǎn)寫(xiě)和翻譯。此外，還有智能導(dǎo)播，大家在會(huì)議室開(kāi)會(huì)時(shí)，如果有線上同事一起加入討論，就會(huì)出現(xiàn)坐得太遠(yuǎn)聽(tīng)不清，或者說(shuō)個(gè)話對(duì)方聽(tīng)不到的情況。我們的蜂鳴鳥(niǎo)音頻實(shí)驗(yàn)室將AI和原創(chuàng)差分陣列技術(shù)相結(jié)合，可以實(shí)現(xiàn)單會(huì)議設(shè)備10米遠(yuǎn)舉例拾音。當(dāng)發(fā)言人說(shuō)話時(shí)，支持精準(zhǔn)的聲源定位，實(shí)時(shí)跟蹤并放大他的頭像，讓每個(gè)發(fā)言人都成為C位，營(yíng)造更好的對(duì)話感。
隨著大模型時(shí)代的到來(lái)，我們也進(jìn)行了相關(guān)的研究，希望用大模型把釘釘會(huì)議重做一遍。今天釘釘推出了全新的AI PaaS智能化底座，并面向生態(tài)伙伴開(kāi)放。在釘釘會(huì)議里，我們利用AI PaaS也實(shí)現(xiàn)了非常多有意思的功能。
第一，是會(huì)議數(shù)字分身代替開(kāi)會(huì)。職場(chǎng)人士每天都會(huì)面臨文山會(huì)海，文山現(xiàn)在我們通過(guò)智能文檔幫大家解決掉，會(huì)海我們也做了一些嘗試，為用戶(hù)提供了數(shù)字分身這個(gè)能力。如果你會(huì)議沖突或者這個(gè)會(huì)議和你的關(guān)聯(lián)度沒(méi)那么高，就可以讓你的數(shù)字分身代替你去開(kāi)。開(kāi)會(huì)過(guò)程中，你可以通過(guò)釘釘魔法棒的對(duì)話框，主動(dòng)給它設(shè)置一些任務(wù)，比如關(guān)注特定的話題，當(dāng)有人討論到這個(gè)話題時(shí)，AI就會(huì)自動(dòng)通知你而且告訴你相關(guān)內(nèi)容。你也可以設(shè)定數(shù)字分身每隔幾分鐘給你發(fā)送一個(gè)會(huì)議總結(jié)，還可以主動(dòng)和數(shù)字分身對(duì)話，了解各種信息，比如會(huì)議里有哪些人、大家有沒(méi)有產(chǎn)生什么爭(zhēng)議，會(huì)議結(jié)束還會(huì)自動(dòng)推送會(huì)議摘要給你。
第二，是用自然語(yǔ)言做會(huì)議智能控制。過(guò)去有很多用戶(hù)吐槽釘釘功能太多，入口不好找，釘釘會(huì)議其實(shí)也面臨這個(gè)問(wèn)題，雖然我們做了大量簡(jiǎn)化，但是釘釘會(huì)議這個(gè)產(chǎn)品對(duì)一些用戶(hù)來(lái)說(shuō)使用門(mén)檻依然有點(diǎn)高。今天我們通過(guò)釘釘魔法棒里的智能助手把功能操作簡(jiǎn)化掉，你只需要通過(guò)自然語(yǔ)言提出你的需求，AI會(huì)自動(dòng)識(shí)別意圖并幫你完成操作，比如會(huì)議里人太多的時(shí)候，有人不小心開(kāi)麥了，你去找到這個(gè)人并把它靜音掉會(huì)比較麻煩，你可以告訴AI把正在說(shuō)話的人靜音，拉人加入會(huì)議的時(shí)候也可以直接打字拉人無(wú)需關(guān)心入口在哪里。通過(guò)這些能力，我們讓會(huì)議的操作、管理變得更簡(jiǎn)單。
第三，是文生虛擬背景。虛擬背景一直很受用戶(hù)喜愛(ài)，尤其是過(guò)去幾年，我們“祖國(guó)的小花朵”們把這個(gè)功能玩出了花，一會(huì)在“太空里上課”，一會(huì)在“大草原上上課”，我們?nèi)粘９ぷ髦幸矔?huì)用到，可以有效避免背景雜亂的尷尬。以前大家用虛擬背景除了已有的模板圖片外，自己需要導(dǎo)出去搜索下載圖片上傳，現(xiàn)在不用了，我們通過(guò)文生圖自動(dòng)生成虛擬背景，徹底解放想象力。
接下來(lái)，釘釘會(huì)議也將通過(guò)AI PaaS逐步做應(yīng)用的開(kāi)放，幫助合作伙伴做場(chǎng)景升級(jí)，未來(lái)更多的生態(tài)產(chǎn)品可以嵌入到釘釘會(huì)議中使用，比如面試、白板等應(yīng)用。比如我們近期正在和招聘合作伙伴共創(chuàng)的面試助手，面試過(guò)程中對(duì)話AI就可以通過(guò)簡(jiǎn)歷內(nèi)容、溝通信息得到實(shí)時(shí)的輔助。我們希望做好體驗(yàn)和開(kāi)放，在智能化的時(shí)代，和生態(tài)伙伴一起給用戶(hù)帶去更多有意思、有價(jià)值的場(chǎng)景應(yīng)用。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
