近日，國(guó)際自然語(yǔ)言處理領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議“國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)年會(huì)”（ACL 2020）公布了今年大會(huì)的論文錄用結(jié)果。根據(jù)此前官方公布的數(shù)據(jù)，本屆大會(huì)共收到 3429 篇投稿論文，投稿數(shù)量創(chuàng)下新高。其中，百度共有11篇論文被大會(huì)收錄，再次展現(xiàn)出在自然語(yǔ)言處理領(lǐng)域的超高水準(zhǔn)。
國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)（ACL，The Association for Computational Linguistics）是自然語(yǔ)言處理領(lǐng)域影響力最大、最具活力的國(guó)際學(xué)術(shù)組織之一，百度CTO王海峰曾任2013年 ACL 主席(President)，是ACL歷史上首位華人主席。
除了在國(guó)際AI學(xué)界的影響力外，ACL無(wú)論是審稿規(guī)范還是審稿質(zhì)量，都是當(dāng)今AI領(lǐng)域國(guó)際頂級(jí)會(huì)議中公認(rèn)的翹楚。研究論文能夠被其錄用，不僅意味著研究成果得到了國(guó)際學(xué)術(shù)界的認(rèn)可，也證明了研究本身在在實(shí)驗(yàn)嚴(yán)謹(jǐn)性、思路創(chuàng)新性等方面的實(shí)力。而此次ACL 2020的審稿周期，從去年12月一直持續(xù)到今年4月，相比往年幾乎增加了一倍。雖然大會(huì)官方尚未公布今年整體論文錄用率，但參照往年的評(píng)審過(guò)程和錄用率，論文被其錄取的難度依舊不會(huì)低。
百度的自然語(yǔ)言處理技術(shù)，在發(fā)展及應(yīng)用上始終保持領(lǐng)先，一直被視為自然語(yǔ)言處理研究界的“第一梯隊(duì)”。今年除了11篇論文被錄用外，大會(huì)期間百度還將聯(lián)合Google、Facebook、UPenn、清華大學(xué)等海內(nèi)外頂尖企業(yè)及高校，共同舉辦首屆同聲傳譯研討會(huì)（The 1st Workshop on Automatic Simultaneous Translation）。由于近期疫情影響，原定于今年7月5日至10日在美國(guó)西雅圖舉行的大會(huì)已改為線上舉辦，而上述同聲傳譯研討會(huì)也將改為在線上與專家學(xué)者們探討。
本屆大會(huì)百度被收錄的11篇論文，覆蓋了對(duì)話與交互系統(tǒng)、情感分析/預(yù)訓(xùn)練表示學(xué)習(xí)、NLP 文本生成與摘要、機(jī)器翻譯/同聲翻譯、知識(shí)推理、AI輔助臨床診斷等諸多自然語(yǔ)言處理界的前沿研究方向，提出了包括情感知識(shí)增強(qiáng)的語(yǔ)言模型預(yù)訓(xùn)練方法、基于圖表示的多文檔生成式摘要方法GraphSum等諸多新算法、新模型、新方法，不僅極大提升了相關(guān)領(lǐng)域的研究水平，也將推動(dòng)人機(jī)交互、機(jī)器翻譯、智慧醫(yī)療等場(chǎng)景的技術(shù)落地應(yīng)用。
以下為ACL 2020百度被收錄的11篇論文概覽。
一、對(duì)話與交互系統(tǒng)
1、Conversational Graph Grounded Policy Learning for Open-Domain Conversation Generation
我們提出用圖的形式捕捉對(duì)話轉(zhuǎn)移規(guī)律作為先驗(yàn)信息，用于輔助開(kāi)放域多輪對(duì)話策略學(xué)習(xí)。基于圖，我們?cè)O(shè)計(jì)策略學(xué)習(xí)模型指導(dǎo)更加連貫和可控的多輪對(duì)話生成。首先，我們從對(duì)話語(yǔ)料庫(kù)中構(gòu)造一個(gè)對(duì)話圖（CG），其中頂點(diǎn)表示“what to say”和“how to say”，邊表示對(duì)話當(dāng)前句與其回復(fù)句之間的自然轉(zhuǎn)換。然后，我們提出了一個(gè)基于CG的策略學(xué)習(xí)框架，該框架通過(guò)圖形遍歷進(jìn)行對(duì)話流規(guī)劃，學(xué)習(xí)在每輪對(duì)話時(shí)從CG中識(shí)別出哪個(gè)頂點(diǎn)和如何從該頂點(diǎn)來(lái)指導(dǎo)回復(fù)生成。我們可以有效地利用CG來(lái)促進(jìn)對(duì)話策略學(xué)習(xí)，具體而言：（1）可以基于它設(shè)計(jì)更有效的長(zhǎng)期獎(jiǎng)勵(lì)；（2）它提供高質(zhì)量的候選操作；（3）它讓我們對(duì)策略有更多的控制。我們?cè)趦蓚€(gè)基準(zhǔn)語(yǔ)料庫(kù)上進(jìn)行了實(shí)驗(yàn)，結(jié)果證明了本文所提框架的有效性。
2、PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable
研發(fā)開(kāi)放領(lǐng)域（Open-Domain）的對(duì)話機(jī)器人，使得它能用自然語(yǔ)言與人自由地交流，一直是自然語(yǔ)言處理領(lǐng)域的終極目標(biāo)之一。對(duì)話系統(tǒng)的挑戰(zhàn)非常多，其中有兩點(diǎn)非常重要，一是大規(guī)模開(kāi)放域多輪對(duì)話數(shù)據(jù)匱乏；二是對(duì)話中涉及常識(shí)、領(lǐng)域知識(shí)和上下文，一個(gè)對(duì)話的上文（Context），往往可以對(duì)應(yīng)多個(gè)不同回復(fù)（Response）的方向。PLATO首次提出將離散的隱變量結(jié)合Transformer結(jié)構(gòu)，應(yīng)用到通用對(duì)話領(lǐng)域。通過(guò)引入離散隱變量，可以對(duì)上文與回復(fù)之間的“一對(duì)多”關(guān)系進(jìn)行有效建模。同時(shí)，通過(guò)利用大規(guī)模的與人人對(duì)話類似的語(yǔ)料，包括Reddit和Twitter，進(jìn)行了生成模型的預(yù)訓(xùn)練，后續(xù)在有限的人人對(duì)話語(yǔ)料上進(jìn)行微調(diào)，即可以取得高質(zhì)量的生成效果。PLATO可以靈活支持多種對(duì)話，包括閑聊、知識(shí)聊天、對(duì)話問(wèn)答等等。而文章最終公布的在三個(gè)公開(kāi)對(duì)話數(shù)據(jù)集上的評(píng)測(cè)，PLATO都取得了新的最優(yōu)效果。
盡管越來(lái)越多的工作證明了隨著預(yù)訓(xùn)練和大規(guī)模語(yǔ)料的引入，自然語(yǔ)言處理領(lǐng)域開(kāi)啟了預(yù)訓(xùn)練然后微調(diào)的范式。在對(duì)話模型上，大規(guī)模預(yù)訓(xùn)練還處于初級(jí)階段，需要繼續(xù)深入探索。PLATO提出的隱變量空間預(yù)訓(xùn)練模型，可能成為端到端對(duì)話系統(tǒng)邁上一個(gè)新臺(tái)階的關(guān)鍵點(diǎn)之一。
3、Towards Conversational Recommendation over Multi-Type Dialogs
真實(shí)人機(jī)對(duì)話，涉及多類型對(duì)話(閑聊、任務(wù)型對(duì)話、問(wèn)答等)，如何自然的融合多類型對(duì)話是一個(gè)重要的挑戰(zhàn)。為應(yīng)對(duì)這個(gè)挑戰(zhàn)，我們提出一個(gè)新的任務(wù)——多類型對(duì)話中的對(duì)話式推薦，期望Bot能夠主動(dòng)且自然地將對(duì)話從非推薦對(duì)話(比如『?jiǎn)柎稹?引導(dǎo)到推薦對(duì)話，然后基于收集到的用戶興趣及用戶實(shí)時(shí)反饋通過(guò)多次交互完成最終的推薦目標(biāo)。為便于研究這個(gè)任務(wù)，我們標(biāo)注了一個(gè)包含多種對(duì)話類型、多領(lǐng)域和豐富對(duì)話邏輯(考慮用戶實(shí)時(shí)反饋)的人－人對(duì)話式推薦數(shù)據(jù)集DuRec(1萬(wàn)個(gè)對(duì)話和16.4萬(wàn)個(gè)utterance)。針對(duì)每個(gè)配對(duì)：推薦尋求者(user)和推薦者(bot)，存在多個(gè)序列對(duì)話，在每個(gè)對(duì)話中，推薦者使用豐富的交互行為主動(dòng)引導(dǎo)一個(gè)多類型對(duì)話不斷接近推薦目標(biāo)。這個(gè)數(shù)據(jù)集允許我們系統(tǒng)地考察整個(gè)問(wèn)題的不同部分，例如，如何自然地引導(dǎo)對(duì)話，如何與用戶交互以便于推薦。最后，我們使用一個(gè)具有多對(duì)話目標(biāo)驅(qū)動(dòng)策略機(jī)制的對(duì)話生成框架在DuRec上建立基線結(jié)果，表明了該數(shù)據(jù)集的可用性，并為將來(lái)的研究設(shè)定了基線。
二、情感分析/預(yù)訓(xùn)練表示學(xué)習(xí)
4、SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis
近年來(lái)，隨著預(yù)訓(xùn)練語(yǔ)言模型的快速發(fā)展，情感分析等多項(xiàng)自然語(yǔ)言理解任務(wù)都取得了顯著的效果提升。然而，在通用語(yǔ)言模型預(yù)訓(xùn)練中，文本中的很多情感相關(guān)的知識(shí)和信息，例如情感詞、實(shí)體-評(píng)論搭配等，并沒(méi)有被模型充分的學(xué)習(xí)?；诖耍俣忍岢隽艘环N情感知識(shí)增強(qiáng)的語(yǔ)言模型預(yù)訓(xùn)練方法，在通用預(yù)訓(xùn)練的基礎(chǔ)上，設(shè)計(jì)了面向情感知識(shí)建模的Masking策略和情感多目標(biāo)學(xué)習(xí)算法，融合了情感詞、極性、主體評(píng)論關(guān)系等多層情感知識(shí)，首次實(shí)現(xiàn)了情感任務(wù)統(tǒng)一的文本預(yù)訓(xùn)練表示學(xué)習(xí)。該算法在情感分類、觀點(diǎn)抽取等情感分析任務(wù)中相對(duì)主流預(yù)訓(xùn)練模型RoBERTa有顯著的提升，同時(shí)刷新了多個(gè)情感分析標(biāo)準(zhǔn)測(cè)試集的世界最好水平。
5、Cross-Lingual Unsupervised Sentiment Classification with Multi-View Transfer Learning
本文針對(duì)無(wú)標(biāo)簽資源的目標(biāo)語(yǔ)言，提出了一種無(wú)監(jiān)督的跨語(yǔ)言情感分析模型。
三、NLP 文本生成與摘要
6、Leveraging Graph to Improve Abstractive Multi-Document Summarization
多文檔摘要（Multi-Document Summarization）技術(shù)自動(dòng)為主題相關(guān)的文檔集生成簡(jiǎn)潔、連貫的摘要文本，具有廣闊的應(yīng)用場(chǎng)景，例如熱點(diǎn)話題綜述、搜索結(jié)果摘要、聚合寫(xiě)作等。生成式多文檔摘要方法的難點(diǎn)之一是如何有效建模文檔內(nèi)及文檔間的語(yǔ)義關(guān)系，從而更好地理解輸入的多文檔。為此，本論文提出基于圖表示的多文檔生成式摘要方法GraphSum，在神經(jīng)網(wǎng)絡(luò)模型中融合多文檔語(yǔ)義關(guān)系圖例如語(yǔ)義相似圖、篇章結(jié)構(gòu)圖等，建模多篇章輸入及摘要內(nèi)容組織過(guò)程，從而顯著提升多文檔摘要效果。GraphSum 基于端到端編解碼框架，其中圖編碼器利用語(yǔ)義關(guān)系圖對(duì)文檔集進(jìn)行編碼表示，圖解碼器進(jìn)一步利用圖結(jié)構(gòu)組織摘要內(nèi)容并解碼生成連貫的摘要文本。GraphSum 還可以非常容易地與各種通用預(yù)訓(xùn)練模型相結(jié)合，從而進(jìn)一步提升摘要效果。在大規(guī)模多文檔摘要數(shù)據(jù)集WikiSum 和MultiNews 上的實(shí)驗(yàn)表明，GraphSum 模型相對(duì)于已有的生成式摘要方法具有較大的優(yōu)越性，在自動(dòng)評(píng)價(jià)和人工評(píng)價(jià)兩種方式下的結(jié)果均有顯著提升。
7、Exploring Contextual Word-level Style Relevance for Unsupervised Style Transfer
無(wú)監(jiān)督風(fēng)格轉(zhuǎn)換是指在無(wú)平行語(yǔ)料的情況下，把輸入的句子改成目標(biāo)風(fēng)格，同時(shí)盡可能保持其原義。本文提出了一種全新的序列到序列的生成模型，可以動(dòng)態(tài)地根據(jù)生成詞的風(fēng)格相關(guān)性進(jìn)行風(fēng)格轉(zhuǎn)換。本文有兩個(gè)主要的創(chuàng)新點(diǎn)，一是用層級(jí)相關(guān)性傳播算法計(jì)算風(fēng)格分類器中每個(gè)輸入詞的風(fēng)格相關(guān)性信息，并以此作為指導(dǎo)信號(hào)來(lái)訓(xùn)練生成器，讓生成器在生成的同時(shí)可以預(yù)測(cè)下一個(gè)詞的風(fēng)格相關(guān)性。二是設(shè)計(jì)了以詞級(jí)別風(fēng)格相關(guān)性和語(yǔ)義信息作為輸入的風(fēng)格轉(zhuǎn)換解碼器，并通過(guò)多個(gè)損失項(xiàng)進(jìn)行finetune訓(xùn)練，從而實(shí)現(xiàn)風(fēng)格轉(zhuǎn)換的功能。實(shí)驗(yàn)表明，本文提出的方法在情感風(fēng)格轉(zhuǎn)換和口語(yǔ)化風(fēng)格轉(zhuǎn)換的任務(wù)上都達(dá)到了領(lǐng)先效果。
四、機(jī)器翻譯&同聲翻譯
8、Opportunistic Decoding with Timely Correction for Simultaneous Translation
同聲傳譯有許多重要的應(yīng)用場(chǎng)景，近年來(lái)受到學(xué)術(shù)界和業(yè)界的廣泛關(guān)注。然而，大多數(shù)現(xiàn)有的框架在翻譯質(zhì)量和延遲之間難以平衡，即解碼策略通常要么過(guò)于激進(jìn)，要么過(guò)于保守。在本論文中，百度首次提出了一種具有及時(shí)糾錯(cuò)能力的解碼技術(shù)，它總是在每一步產(chǎn)生一定數(shù)量的額外單詞，以保持觀眾對(duì)最新信息的跟蹤，同時(shí)，它也在觀察更多的上下文時(shí)，對(duì)前一個(gè)過(guò)度生成的單詞提供及時(shí)的糾錯(cuò)，以確保高翻譯質(zhì)量。本文還首次提出了對(duì)這種糾錯(cuò)場(chǎng)景下的延遲指標(biāo)。實(shí)驗(yàn)表明，我們的技術(shù)提高了延遲和質(zhì)量：延遲減少了2.4，BLEU增加了3.1，中英翻譯和中英翻譯的修改率低于8%。本系統(tǒng)可用于任何語(yǔ)音到文本的同傳系統(tǒng)中。
9、Simultaneous Translation Policies: from Fixed to Adaptive
同聲翻譯是機(jī)器翻譯中的一個(gè)重要問(wèn)題，它不僅要求高質(zhì)量的翻譯結(jié)果，而且要求翻譯的過(guò)程有較低的時(shí)延。同聲翻譯的過(guò)程可以認(rèn)為是一個(gè)選擇“讀”或“寫(xiě)”的決策過(guò)程，而所采用的策略則決定了同聲翻譯的質(zhì)量與時(shí)延。本文提出一種簡(jiǎn)單的啟發(fā)式算法，根據(jù)翻譯模型輸出的概率分布，可以將幾種精簡(jiǎn)的固定“讀寫(xiě)”策略組合成一種靈活的策略。本文進(jìn)一步將該算法與集成方法相結(jié)合，既提高了翻譯質(zhì)量，又降低了翻譯過(guò)程的時(shí)延。這種簡(jiǎn)單的算法不需要訓(xùn)練策略模型，使得其更易于在產(chǎn)品中使用。
五、知識(shí)推理
10、Learning Interpretable Relationships between Entities, Relations and Concepts via Bayesian Structure Learning on Open Domain Facts
通過(guò)貝葉斯結(jié)構(gòu)學(xué)習(xí)建立了開(kāi)放領(lǐng)域的關(guān)系與概念(Concept)之間的關(guān)聯(lián)，使得實(shí)體為何屬于某個(gè)概念的原因得到了很好的解釋。
六、AI輔助臨床診斷
11、Towards Interpretable Clinical Diagnosis with Bayesian Network Ensembles Stacked on Entity-Aware CNNs
基于電子病歷（EMR）的智能化診斷算法是AI醫(yī)療研究領(lǐng)域最重要、最活躍、應(yīng)用最廣泛的問(wèn)題之一。傳統(tǒng)的診斷算法或者直接使用端到端分類模型，丟失了可解釋性，或者僅基于知識(shí)關(guān)系和規(guī)則進(jìn)行推理，可遷移、可擴(kuò)展性低。本研究提出一種新的診斷算法框架，該框架針對(duì)EMR具有無(wú)結(jié)構(gòu)化文本和結(jié)構(gòu)化信息并存的特點(diǎn)，結(jié)合醫(yī)療NLU，以深度學(xué)習(xí)模型實(shí)現(xiàn)EMR的向量化表示、診斷預(yù)分類和概率計(jì)算。結(jié)合醫(yī)療知識(shí)圖譜增強(qiáng)的多種貝葉斯網(wǎng)絡(luò)的組合模型，實(shí)現(xiàn)具有可解釋性的診斷推理。該框架能同時(shí)兼顧高診斷準(zhǔn)確率和強(qiáng)可解釋性的特點(diǎn)，并可應(yīng)用于面向基層醫(yī)師的輔助臨床診斷產(chǎn)品中。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
