谷歌翻譯是如何借助多項(xiàng)新興AI技術(shù)提高翻譯質(zhì)量的

網(wǎng)易科技訊6月6日消息，據(jù)國外媒體報(bào)道，谷歌表示，它已在提高沒有大量書面文本語料的語言的翻譯質(zhì)量上取得了進(jìn)展。在一篇即將正式發(fā)表的博客文章中，該公司詳細(xì)介紹了助力提升谷歌翻譯（Google Translate）所支持的108種語言翻譯質(zhì)量的新創(chuàng)新技術(shù)(特別是缺乏語料數(shù)據(jù)的約魯巴語和馬拉雅拉姆語)。

谷歌翻譯服務(wù)平均每天翻譯1500億個(gè)單詞。

自谷歌翻譯首次亮相以來的13年里，神經(jīng)機(jī)器翻譯、基于重寫的范式和設(shè)備端處理等技術(shù)的出現(xiàn)和改進(jìn)，助力該平臺(tái)的翻譯準(zhǔn)確性取得不小的飛躍。但直到近年，即便是最先進(jìn)的翻譯支持算法也一直落后于人類的表現(xiàn)。谷歌以外的努力充分說明了這個(gè)問題的嚴(yán)重性——旨在使得非洲大陸的數(shù)千種語言可自動(dòng)翻譯的Masakhane項(xiàng)目，至今還沒有走出數(shù)據(jù)收集和轉(zhuǎn)錄階段。Mozilla致力于建立一個(gè)開源的語音轉(zhuǎn)錄數(shù)據(jù)收集平臺(tái)Common Voice，自2017年6月推出以來也只審查了40種語音。

谷歌稱，它在翻譯領(lǐng)域所取得的突破并不是由單一技術(shù)驅(qū)動(dòng)的，而是針對低資源語言、高資源語言、總體質(zhì)量、延遲和整體推理速度的多項(xiàng)技術(shù)共同作用產(chǎn)生的。在2019年5月到2020年5月之間，根據(jù)人工評估和BLEU(基于翻譯系統(tǒng)翻譯和人工參考翻譯之間相似性的衡量標(biāo)準(zhǔn))，谷歌翻譯在所有語言中平均提高了5分以上，在50種語料資源最少的語言中平均提高了7分以上。

混合模型和數(shù)據(jù)挖掘器

這些技術(shù)中的第一個(gè)是轉(zhuǎn)換模型架構(gòu)——一種混合架構(gòu)，包括一個(gè)Transformer編碼器和一個(gè)用Lingvo實(shí)現(xiàn)的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)解碼器，后者是一個(gè)用于序列建模的TensorFlow框架。

在機(jī)器翻譯中，編碼器通常將單詞和短語編碼為內(nèi)部表示形式，然后由解碼器生成目標(biāo)語言的文本?；赥ransformer的模型是谷歌研究人員在2017年首次提出的，在這一點(diǎn)上它比RNN更有效，但谷歌表示，它的研究表明，翻譯質(zhì)量的提高主要來自Transformer的一個(gè)部件:編碼器。這可能是因?yàn)殡m然RNN和Transformer都是為處理有序的數(shù)據(jù)序列而設(shè)計(jì)的，但后者并不要求按順序處理數(shù)據(jù)序列。換句話說，如果涉及的數(shù)據(jù)是自然語言，Transformer不必先處理好句子的開頭才處理句子的結(jié)尾。

然而，RNN解碼器在推理時(shí)間上仍然比Transformer中的解碼器要“快得多”。谷歌翻譯團(tuán)隊(duì)認(rèn)識(shí)到這一點(diǎn)，于是在將RNN解碼器與Transformer編碼器耦合之前，對RNN解碼器進(jìn)行了優(yōu)化，以創(chuàng)建低延遲、質(zhì)量及穩(wěn)定性均比此前所使用的RNN神經(jīng)機(jī)器翻譯模型更勝一籌的混合模型。原來使用的RNN神經(jīng)機(jī)器翻譯模型已有4年歷史。

2006年上線不久以來，谷歌翻譯模型各種語言的BLEU得分提升趨勢

除了打造新穎的混合模型架構(gòu)之外，谷歌還升級了一個(gè)有幾十年歷史的爬蟲程序。該程序用來從文章、書籍、文檔和網(wǎng)絡(luò)搜索結(jié)果等內(nèi)容中的數(shù)百萬條示例翻譯中編制訓(xùn)練語料。該新數(shù)據(jù)挖掘器基于支持14個(gè)語言對的嵌入模式，而非基于詞典模式，也就是說它是使用實(shí)數(shù)向量來表示單詞和短語,更多地聚焦于精確性(檢索數(shù)據(jù)中的相關(guān)數(shù)據(jù)部分)，而非檢索（實(shí)際檢索的相關(guān)數(shù)據(jù)總量）。產(chǎn)出效果方面，谷歌說這使得該數(shù)據(jù)挖掘器提取到的句子數(shù)量平均增加了29%。

噪聲數(shù)據(jù)和遷移學(xué)習(xí)

翻譯性能提升的另一來源是一種建模方法，它能更好地處理訓(xùn)練數(shù)據(jù)中的噪聲。據(jù)觀察，噪聲數(shù)據(jù)(含有大量無法正確理解或解釋的信息的數(shù)據(jù))會(huì)損害語料數(shù)據(jù)豐富的語言的翻譯質(zhì)量。所以，谷歌翻譯團(tuán)隊(duì)部署系統(tǒng)來給使用噪聲數(shù)據(jù)訓(xùn)練的模型的示例打分，進(jìn)而篩選出“純凈”的數(shù)據(jù)。實(shí)際上，這些模型一開始基于所有的數(shù)據(jù)進(jìn)行訓(xùn)練，然后逐漸基于更小、更純凈的數(shù)據(jù)子集進(jìn)行訓(xùn)練，這種方法在人工智能研究領(lǐng)域被稱為課程學(xué)習(xí)。

對于資源較少的語言，谷歌在谷歌翻譯中采用了一個(gè)回譯機(jī)制，來強(qiáng)化并行訓(xùn)練數(shù)據(jù)，即語言中的每個(gè)句子都與其譯文相配對。(機(jī)器翻譯傳統(tǒng)上依賴于源語言和目標(biāo)語言成對句子的語料庫的統(tǒng)計(jì)。)在該機(jī)制中，訓(xùn)練數(shù)據(jù)與合成的并行數(shù)據(jù)自動(dòng)對齊，目標(biāo)文本為自然語言，而源文本則由神經(jīng)翻譯模型生成。結(jié)果是，谷歌翻譯充分利用更豐富的單語文本數(shù)據(jù)來訓(xùn)練模型，谷歌稱這對提高翻譯流暢性特別有幫助。

谷歌地圖自帶的翻譯功能

谷歌翻譯現(xiàn)在還采用M4建模方法，即用一個(gè)單一的巨型模型——M4——來在多種語言和英語之間進(jìn)行翻譯。(M4最初是在去年的一篇論文中提出的，該論文證明，在基于來自100多種語言的250億對句子進(jìn)行訓(xùn)練后，M4提高了30多種低資源語言的翻譯質(zhì)量。)M4建模讓谷歌翻譯中的遷移學(xué)習(xí)成為可能，因此，通過基于法語、德語、西班牙語等高資源語言(它們有數(shù)十億條并行示例語料)的訓(xùn)練獲得的見解，可以應(yīng)用于低資源語言的翻譯，如約魯巴語、信德語和夏威夷語(它們只有數(shù)萬條示例)。

展望未來

谷歌稱，自2010年以來，按照BLEU標(biāo)準(zhǔn)（滿分100分，谷歌翻譯水平每年至少提高1分，但自動(dòng)化機(jī)器翻譯的問題并沒有得到解決。谷歌承認(rèn)，即使是它的增強(qiáng)模型，也會(huì)出現(xiàn)各種錯(cuò)誤，如合并一種語言的不同方言，產(chǎn)生明顯的字面翻譯，以及在特定主題內(nèi)容和非正式語言或口語上表現(xiàn)糟糕等等。

這家科技巨頭正想方設(shè)法來解決這一挑戰(zhàn)，包括借助它的谷歌翻譯社區(qū)。該游戲化項(xiàng)目招募志愿者來翻譯單詞和短語或者檢查翻譯是否正確，借助他們來提高低資源語言的翻譯質(zhì)量。就在今年2月，結(jié)合新興的機(jī)器學(xué)習(xí)技術(shù)，該項(xiàng)目為谷歌翻譯增加了對總共7500萬人使用的五種語言的支持，包括基尼亞盧旺達(dá)語、奧里雅語、韃靼語、土庫曼語和維吾爾語。

谷歌并不是唯一一家追求真正通用的翻譯工具的公司。2018年8月，F(xiàn)acebook公布了一種人工智能模型，該模型結(jié)合使用逐字翻譯、語言模型和回譯來超越語言配對系統(tǒng)。最近，麻省理工學(xué)院計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室的研究人員也提出了一種無監(jiān)督學(xué)習(xí)模型——一種從沒有明確標(biāo)記或分類的測試數(shù)據(jù)中學(xué)習(xí)的模型——它可以在沒有直接的雙語翻譯數(shù)據(jù)的情況下在兩種語言的文本之間進(jìn)行翻譯。

谷歌在一份聲明中表示，它“非常感謝”學(xué)術(shù)界和產(chǎn)業(yè)界在機(jī)器翻譯領(lǐng)域的研究成果，其中一些研究為谷歌自身的項(xiàng)目帶來了啟發(fā)?！巴ㄟ^結(jié)合利用和拓展近期的各種技術(shù)進(jìn)步，我們完成了谷歌翻譯最近的改進(jìn)?！痹摴菊f，“經(jīng)過此次升級，我們很自豪能夠提供相對連貫的自動(dòng)翻譯，哪怕是所支持的108種語言中語料資源最少的一種語言。”（樂邦）

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。