智能語(yǔ)音行業(yè)已經(jīng)進(jìn)入蓬勃發(fā)展的時(shí)代，隨著智能設(shè)備的逐漸增多，用戶對(duì)語(yǔ)音交互的需求越來(lái)越大。在AIoT時(shí)代，智能設(shè)備的自然語(yǔ)言交互能力成為與用戶溝通的重要一環(huán)。當(dāng)用戶對(duì)智能設(shè)備產(chǎn)生需求并進(jìn)行對(duì)話時(shí)，語(yǔ)音的喚醒和識(shí)別能力直接決定了用戶對(duì)設(shè)備的好感度。

依托于小愛同學(xué)、小米多款智能設(shè)備，小米持續(xù)深耕語(yǔ)音技術(shù)，希望在智能家庭、智能車載等豐富的使用場(chǎng)景之下，更進(jìn)一步解放對(duì)用戶語(yǔ)音識(shí)別環(huán)境的條件限制，讓用戶體驗(yàn)更自然、更自由、無(wú)壓力的語(yǔ)音交互方式，更好地理解用戶意圖，為用戶提供極致的智能語(yǔ)音交互體驗(yàn)。

多通道端到端語(yǔ)音技術(shù)，讓用戶在“自由場(chǎng)景自由說(shuō)”

目前，業(yè)內(nèi)各家的近講語(yǔ)音喚醒和識(shí)別能力已經(jīng)達(dá)到了較高的水平，在近距離、安靜的環(huán)境下，用戶與智能設(shè)備的語(yǔ)音交互已經(jīng)基本無(wú)障礙。然而，在強(qiáng)噪聲干擾、強(qiáng)房間混響、說(shuō)話距離遠(yuǎn)、設(shè)備自身播放音源等條件下，智能設(shè)備與用戶進(jìn)行連續(xù)地自然語(yǔ)音交互仍然具有挑戰(zhàn)性。

如何讓遠(yuǎn)場(chǎng)語(yǔ)音性能達(dá)到和近講相近的水平，一直是困擾業(yè)界語(yǔ)音工程師的一大難題。鑒于此，小米語(yǔ)音團(tuán)隊(duì)的“多通道端到端語(yǔ)音技術(shù)”自研能力，取得比“傳統(tǒng)多通道陣列增強(qiáng)模塊加單通道語(yǔ)音技術(shù)”更好的性能。

為了在遠(yuǎn)場(chǎng)聲音中更準(zhǔn)確的識(shí)別出目標(biāo)語(yǔ)音，傳統(tǒng)多通道陣列增強(qiáng)技術(shù)會(huì)使用空間濾波或語(yǔ)音分離算法，但這些算法引入了較多先驗(yàn)假設(shè)，在一些不符合假設(shè)的場(chǎng)景下，性能會(huì)明顯下降。另外，傳統(tǒng)多通道陣列處理技術(shù)是由多個(gè)技術(shù)模塊串聯(lián)組成，多個(gè)麥克風(fēng)的數(shù)據(jù)會(huì)被送入回聲消除、降噪、去混響、尋向和波束形成等模塊，幾個(gè)模塊單獨(dú)進(jìn)行優(yōu)化，優(yōu)化目標(biāo)并不一致。

小米從2018年開始驗(yàn)證端到端語(yǔ)音喚醒和識(shí)別的思路，目標(biāo)即從充滿噪聲、混響和回聲的多個(gè)麥克風(fēng)中直接學(xué)習(xí)語(yǔ)音特征，提升真實(shí)環(huán)境中的識(shí)別率和穩(wěn)定性。經(jīng)過(guò)一系列的校驗(yàn)，小米多通道端到端語(yǔ)音技術(shù)有三大明顯優(yōu)勢(shì)。第一，端上的計(jì)算量變小，較之前減少了50%，縮短了所有的計(jì)算路徑和時(shí)長(zhǎng)；其次，端上的存儲(chǔ)量變小，在原有的基礎(chǔ)上大幅減少，減輕了存儲(chǔ)壓力；最后，“多通道端到端語(yǔ)音技術(shù)”直接用一個(gè)網(wǎng)絡(luò)中的不同級(jí)去替代之前的多個(gè)模塊，最后有一個(gè)一致的優(yōu)化目標(biāo)，避免誤差的逐級(jí)傳播。整個(gè)模型用一套神經(jīng)網(wǎng)絡(luò)表述，大幅減小系統(tǒng)設(shè)計(jì)復(fù)雜度，可以明顯降低運(yùn)算負(fù)荷。從大規(guī)模訓(xùn)練數(shù)據(jù)中習(xí)得的深度神經(jīng)網(wǎng)絡(luò)，比基于傳統(tǒng)信號(hào)處理的方式，使用的先驗(yàn)假設(shè)少，可以涵蓋更多的實(shí)際場(chǎng)景

從近講到遠(yuǎn)場(chǎng)，小米自研技術(shù)拓寬了語(yǔ)音的想象力

據(jù)小米語(yǔ)音工程師介紹，盡管傳統(tǒng)信號(hào)處理具有一些方面的不足，但是其能夠較好地處理麥克風(fēng)陣列信號(hào)的相位，利用物理學(xué)中樸素的法則“同向相加，異向相消”對(duì)不想要的信號(hào)分量進(jìn)行抑制。因此，小米的多通道語(yǔ)音識(shí)別模型不僅采用了更先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)，也同時(shí)繼承了傳統(tǒng)信號(hào)處理理論對(duì)相位處理的精髓，將傳統(tǒng)前端算法和深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)進(jìn)行互補(bǔ)，也即將傳統(tǒng)信號(hào)處理的概念進(jìn)一步拓展，充分利用深度神經(jīng)網(wǎng)絡(luò)的非線性處理能力，提出一種全神經(jīng)網(wǎng)絡(luò)語(yǔ)音識(shí)別模型。

在語(yǔ)音識(shí)別大牛Daniel Povey加入小米后，小米的語(yǔ)音交互在原有的基礎(chǔ)上更進(jìn)一步。終于讓多通道端到端語(yǔ)音方案性能超過(guò)了傳統(tǒng)方案。經(jīng)過(guò)數(shù)據(jù)測(cè)試，多通道端到端語(yǔ)音技術(shù)讓遠(yuǎn)場(chǎng)語(yǔ)音識(shí)別性能相對(duì)提升了10%，使用戶與智能設(shè)備的交互更加順暢。

從3G時(shí)代，到4G時(shí)代，再到5G時(shí)代，智能語(yǔ)音交互也發(fā)生著巨大的變革。多通道端到端的語(yǔ)音技術(shù)不僅讓用戶交互方式更加自由，同時(shí)也降低了硬件的產(chǎn)品功耗。從近講的喚醒識(shí)別到遠(yuǎn)場(chǎng)的喚醒識(shí)別，從單通道到多通道，小米自研語(yǔ)音技術(shù)旨在幫助用戶在自由的場(chǎng)景下實(shí)現(xiàn)自由說(shuō)的目標(biāo)。未來(lái)，小米將智能語(yǔ)音技術(shù)落地至更多應(yīng)用場(chǎng)景，不斷突破自研技術(shù)，為用戶提供更加極致的語(yǔ)音交互體驗(yàn)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。