引言
語(yǔ)音合成(Text-to-Speech, TTS)是指文字轉(zhuǎn)語(yǔ)音相關(guān)技術(shù)。隨著人工智能技術(shù)的發(fā)展，TTS的聲學(xué)模型和聲碼器模型效果都在不斷提高，單一語(yǔ)言在數(shù)據(jù)量足夠的情況下已經(jīng)可以合成較高品質(zhì)的語(yǔ)音。
研究人員們也逐漸開(kāi)始關(guān)注跨語(yǔ)言語(yǔ)音合成領(lǐng)域，本文介紹網(wǎng)易游戲廣州AI Lab在Interspeech 2022中發(fā)表的一篇跨語(yǔ)言語(yǔ)音合成論文《Exploring Timbre Disentanglement in Non-Autoregressive Cross-Lingual Text-to-Speech》，該論文提出了音素長(zhǎng)度調(diào)節(jié)模塊來(lái)解決IPA序列與單語(yǔ)言對(duì)齊系統(tǒng)對(duì)齊結(jié)果的不匹配問(wèn)題，同時(shí)使用了基于Fastpitch的非自回歸聲學(xué)模型，實(shí)驗(yàn)結(jié)果表明了訓(xùn)練集說(shuō)話人數(shù)量的增加、音高和能量的顯示建模(主要是音高)都有助于非自回歸跨語(yǔ)言TTS中說(shuō)話人音色和語(yǔ)言的信息解耦。
論文標(biāo)題：Exploring Timbre Disentanglement in Non-Autoregressive Cross-Lingual Text-to-Speech
論文鏈接：
https://arxiv.org/abs/2110.07192
演示網(wǎng)址：
https://hyzhan.github.io/NAC-TTS/
論文相關(guān)背景
目前跨語(yǔ)言TTS的主要實(shí)現(xiàn)方法有：跨語(yǔ)言中間特征、跨語(yǔ)言文本表示、對(duì)抗式訓(xùn)練、發(fā)音單元設(shè)計(jì)、跨語(yǔ)言文本處理模型等。更多相關(guān)背景知識(shí)及發(fā)展概述可閱讀：《跨語(yǔ)言語(yǔ)音合成方法的發(fā)展趨勢(shì)與方向》，本文不再贅述。
近年來(lái)，F(xiàn)astSpeech、FastPitch、FastSpeech2等非自回歸聲學(xué)模型除了在語(yǔ)音生成速度上表現(xiàn)出巨大優(yōu)勢(shì)，生成語(yǔ)音自然程度也越來(lái)越高，相關(guān)論文作者試圖在跨語(yǔ)言語(yǔ)音合成系統(tǒng)中使用非自回歸聲學(xué)模型，但是由于典型的非自回歸聲學(xué)模型需要加入顯式的音素發(fā)音時(shí)長(zhǎng)進(jìn)行模型訓(xùn)練，這會(huì)導(dǎo)致模型增加使用IPA這類跨語(yǔ)言文本表示的難度(因?yàn)檫@樣會(huì)需要有一個(gè)跨語(yǔ)言的文本語(yǔ)音對(duì)齊系統(tǒng))。
該論文提出了音素長(zhǎng)度調(diào)節(jié)模塊來(lái)避免這個(gè)問(wèn)題，同時(shí)還在FastPitch的基礎(chǔ)上加入了energy predictor，評(píng)估了訓(xùn)練數(shù)據(jù)集說(shuō)話人數(shù)量、不同模塊及文本表示、是否使用對(duì)抗訓(xùn)練對(duì)說(shuō)話人音色解耦的影響。
方法概述
首先基于開(kāi)源字典[1]構(gòu)造一個(gè)自定義的字典，將語(yǔ)言相關(guān)的音素轉(zhuǎn)換(LDP)為IPA表示，其中語(yǔ)言相關(guān)的音素集在中文中為拼音，在英文中為Aprabet表示，將IPA音素序列及其對(duì)應(yīng)LDP的音素長(zhǎng)度輸入到上圖的Phoneme Length Regulator，即可實(shí)現(xiàn)輸入表示序列與單語(yǔ)言對(duì)齊系統(tǒng)得到的發(fā)音時(shí)長(zhǎng)相匹配，進(jìn)而完成聲學(xué)模型的訓(xùn)練。
以下圖中的“Steins Gate的選擇”為例，“Steins Gate”對(duì)應(yīng)的Aprabet表示為：S T AY1 N Z，“的選擇”對(duì)應(yīng)的拼音為：d e0 x uan3 z e2;根據(jù)前面構(gòu)造的自定義字典將語(yǔ)言相關(guān)的音素(LDP)轉(zhuǎn)換為對(duì)應(yīng)的IPA字符及其IPA字符數(shù)量;通過(guò)embedding的方式將IPA字符映射成對(duì)應(yīng)的IPA embedding序列，并基于LDP對(duì)應(yīng)的IPA字符數(shù)量對(duì)IPA embedding序列進(jìn)行聚合得到，LDP級(jí)別的embedding序列。
各個(gè)序列的長(zhǎng)度約束關(guān)系見(jiàn)參考論文2.2節(jié)，總的來(lái)說(shuō)就是用變長(zhǎng)的phoneme length來(lái)控制需要聚合的IPA embedding序列數(shù)量，以此來(lái)表示對(duì)應(yīng)的LDP embedding，從而讓IPA序列可以使用單語(yǔ)言對(duì)齊的音素時(shí)長(zhǎng)信息，完成整個(gè)模型的訓(xùn)練。
聲學(xué)模型框架上是基于Fastpitch的聲學(xué)模型加入了energy predictor模塊，再結(jié)合了論文提出的Phoneme Length Regulator模塊。還有一個(gè)區(qū)別就是論文的 speaker embedding是加在encoder output的，而不是常見(jiàn)的encoder input，以及在預(yù)測(cè)variance predictor的時(shí)候?qū)斎脒M(jìn)行了detach操作來(lái)避免時(shí)長(zhǎng)、音高、能量預(yù)測(cè)對(duì)encoder的潛在影響。
實(shí)驗(yàn)
論文實(shí)驗(yàn)主要涉及中文和英文，中文數(shù)據(jù)集為開(kāi)源的標(biāo)貝女聲及內(nèi)部數(shù)據(jù)集，英文數(shù)據(jù)集為開(kāi)源的 LJSpeech 及 CMU arctic 數(shù)據(jù)集。作者構(gòu)造了三種性別平衡及語(yǔ)言平衡的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，表 1 描述了各個(gè)子數(shù)據(jù)集的構(gòu)成情況：d1：中文男聲 5 小時(shí)，英文女聲 5 小時(shí);d2：中文女聲 1 小時(shí)，英文男聲 1 小時(shí);d3：中文男女聲各 1 小時(shí)，英文男女聲各 1 小時(shí)，通過(guò)逐步增加訓(xùn)練集規(guī)模來(lái)進(jìn)行相關(guān)實(shí)驗(yàn)，評(píng)測(cè)階段僅使用 d1 中的 LJSpeech 的英文女聲及內(nèi)部數(shù)據(jù)集的中文男聲進(jìn)行評(píng)測(cè)。
4.1說(shuō)話人數(shù)量的影響
論文首先研究了訓(xùn)練集中包含不同數(shù)量的說(shuō)話人時(shí)，說(shuō)話人和語(yǔ)言信息之間的糾纏情況。其中d1有2個(gè)說(shuō)話人，d1+d2有4個(gè)說(shuō)話人，d1+d2+d3有8個(gè)說(shuō)話人，均為性別及語(yǔ)言平衡的數(shù)據(jù)集。表2評(píng)估了d1數(shù)據(jù)集中文男聲在純中文、純英文和中英混合句子的語(yǔ)音自然程度及相似度。
可以發(fā)現(xiàn)，d1訓(xùn)練集中，中文男聲在中文語(yǔ)音上表現(xiàn)最好，中英混合語(yǔ)音表現(xiàn)次之，純英文表現(xiàn)最差，尤其是純英文的相似度指標(biāo)上。這意味著訓(xùn)練集中一種語(yǔ)言只有一個(gè)說(shuō)話人，對(duì)提升目標(biāo)說(shuō)話人的跨語(yǔ)言發(fā)音能力幫助有限;同時(shí)作者也推測(cè)雖然IPA符號(hào)可以用在所有語(yǔ)言上，但是依舊存在某種語(yǔ)音有一些獨(dú)有的IPA符號(hào)的情況，從而在這種一種語(yǔ)言只有一個(gè)說(shuō)話人的訓(xùn)練集上導(dǎo)致了說(shuō)話人音色信息和語(yǔ)言信息的混淆。
另一方面，隨著訓(xùn)練集兩種語(yǔ)言說(shuō)話人數(shù)量的增加，在跨語(yǔ)言語(yǔ)音場(chǎng)景下，中文男聲說(shuō)話人的Naturalness及Similarity主觀評(píng)分均出現(xiàn)了較明顯的提高，Naturalness主觀評(píng)分的方差也逐漸在減小。這說(shuō)明了訓(xùn)練集中說(shuō)話人的多樣性不僅有利于說(shuō)話人音色信息和語(yǔ)言信息的解耦，還有利于提高非自回歸跨語(yǔ)言TTS模型的穩(wěn)定性。因此，后續(xù)實(shí)驗(yàn)均基于d1+d2+d3的數(shù)據(jù)集進(jìn)行。
4.2對(duì)比實(shí)驗(yàn)
論文選擇了3個(gè)對(duì)比模型，一個(gè)是基于IPA表示Tacotron聲學(xué)模型框架的Tacotron-based，二是基于LDP表示和GRL(gradient reversal layer)Fastspeech聲學(xué)模型框架的FastSpeech-LDP，三是將FastSpeech-LDP中的LDP表示替換為本文中的IPA表示加Phoneme Length Regulator模塊的方法，最后則是本文提出的模型框架。
總的來(lái)說(shuō)，在本實(shí)驗(yàn)中幾個(gè)非自回歸模型的表基本都好于Tacotron-based;對(duì)比FastSpeech-LDP和FastSpeech-IPA中英說(shuō)話人在三種類型文本的Naturalness和Similarity指標(biāo)，兩者的Naturalness基本接近，不過(guò)FastSpeech-IPA在大部分情況取得了更高的Similarity主觀評(píng)分，這表明IPA表示加上Phoneme Length Regulator模塊的實(shí)現(xiàn)可以幫助模型學(xué)習(xí)不同語(yǔ)言的發(fā)音。
然而，本文提出的模型在跨語(yǔ)言場(chǎng)景的表現(xiàn)明顯優(yōu)于FastSpeech-LDP及FastSpeech-IPA，這說(shuō)明使用variance adaptors有助于提高跨語(yǔ)言語(yǔ)音合成模型的性能表現(xiàn)，雖然variance adaptors本身是作為解決語(yǔ)音合成中的“一對(duì)多”問(wèn)題提出的，但是實(shí)驗(yàn)表明了對(duì)語(yǔ)音的韻律特征進(jìn)行顯示建模有助于說(shuō)話人和語(yǔ)言信息的解耦。
4.3消融實(shí)驗(yàn)
論文做了三組消融實(shí)驗(yàn)來(lái)評(píng)估 GRL 梯度反傳層、pitch predictor、energy predictor 對(duì) proposed model 的影響。實(shí)驗(yàn)表明，GRL 的引入并沒(méi)有帶來(lái)收益，一方面可能是 IPA 表示加上說(shuō)話人多樣性的引入已經(jīng)能較好地對(duì)說(shuō)話人音色信息和語(yǔ)言信息進(jìn)行解耦，另一方面可能是因?yàn)?GRL 中的超參數(shù)較為敏感，暫不適用于本文提出的模型。去掉 pitch predictor 和 energy predictor 導(dǎo)致了語(yǔ)音自然程度和相似度有較明顯的惡化(尤其是 pitch predictor)，這表明了在 variance predictor 的有效性。
總結(jié)
論文提出了Phoneme Length Regulator模塊，使得非自回歸跨語(yǔ)言TTS模型中的IPA表示與單語(yǔ)言強(qiáng)制對(duì)齊信息可以同時(shí)使用;構(gòu)造了一個(gè)不需要對(duì)抗式訓(xùn)練、基于IPA表示的Fastpitch-based模型，取得了不錯(cuò)的語(yǔ)音自然程度及說(shuō)話人相似度。論文實(shí)驗(yàn)表明說(shuō)話人多樣性、IPA表示、variance adaptors都能夠幫助非自回歸跨語(yǔ)言TTS模型解耦說(shuō)話人和語(yǔ)言信息。
本文通過(guò)引入一個(gè)較為簡(jiǎn)單的方法使其可以利用單語(yǔ)言強(qiáng)制對(duì)齊信息和IPA表示，再加上說(shuō)話人多樣性和variance adaptors引入，已經(jīng)可以在不使用常見(jiàn)對(duì)抗式訓(xùn)練的方式在跨語(yǔ)言語(yǔ)句上取得不錯(cuò)的語(yǔ)音自然程度及說(shuō)話人相似度。另外，第一版論文和演示網(wǎng)頁(yè)還展示了對(duì)中式英文發(fā)音可控性的潛力，如果有PLR模塊的示例代碼會(huì)更好一些，不過(guò)本身思想也不算復(fù)雜，實(shí)現(xiàn)難度不大，從實(shí)驗(yàn)結(jié)果來(lái)看，總體上是一個(gè)邏輯通順、簡(jiǎn)單又有效的解決方案。(作者：音月)
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
