百度技術(shù)委員會主席吳華：NLP技術(shù)要讓機器具有人類語言交流能力

作者：尹天琦

“要讓人工智能走進人類的生活，就需要讓它們具有與人類交流的語言能力。自然語言處理（NLP）是人工智能的核心領(lǐng)域之一，是解決這一問題的核心途徑。研究好NLP就能讓計算機理解和生成人類語言，以我們熟悉的方式服務(wù)人類?！卑俣燃夹g(shù)委員會主席吳華在國際自然語言處理與中文計算會議（NLPCC）上詮釋了NLP技術(shù)的重要意義。

NLPCC?2017由中國計算機協(xié)會（CCF）主辦，是具有國際影響力的學(xué)術(shù)與創(chuàng)新交流平臺。百度技術(shù)委員會主席、百度自然語言處理部門技術(shù)負(fù)責(zé)人吳華應(yīng)邀出席，并在會上介紹了百度NLP技術(shù)的發(fā)展現(xiàn)狀和產(chǎn)品應(yīng)用能力。

吳華表示，百度NLP以大數(shù)據(jù)和知識圖譜為立足點，基于機器學(xué)習(xí)和語言學(xué)方面的積累，擁有一流的文本理解與生成技術(shù)，由此構(gòu)建起問答、機器翻譯和對話系統(tǒng)，并以平臺化的方式對更多產(chǎn)品進行支持，如NLPC（NLP?Cloud）和百度AI開放平臺。百度NLP技術(shù)已經(jīng)應(yīng)用在搜索、信息流、DuerOS等百度的眾多產(chǎn)品上。

憑借多年的技術(shù)積累，百度研發(fā)了一套聯(lián)合統(tǒng)一的詞法分析方案，極大提高了機器正確識別和標(biāo)注句子中詞的概率。吳華表示，詞法分析是自然語言處理的基礎(chǔ)，其準(zhǔn)確程度直接影響后續(xù)一系列分析處理任務(wù)的效果。百度的這套方案將專名識別（NE?Recognition）、分詞和詞性標(biāo)注統(tǒng)一在一個框架中，得到語義更合理和完整的詞語切分與詞性標(biāo)注序列；另一方面，百度特有的海量點擊反饋數(shù)據(jù)輔助詞性標(biāo)注將詞性標(biāo)注語料從20萬迅速擴充到1億3千萬個句子，標(biāo)記數(shù)據(jù)精度超過95%，提升了自動分詞和詞性標(biāo)注的準(zhǔn)確率。

在介紹百度先進的文本理解與生成技術(shù)能力時，吳華強調(diào)，不同應(yīng)用對文本理解的程度和解析粒度的要求不同，一套固定的解決方案無法滿足所有需求。目前，百度NLP不僅擁有通用的理解技術(shù)，更面向不同任務(wù)提供相應(yīng)的文本理解技術(shù)，實現(xiàn)更精準(zhǔn)的意圖理解、推薦、人機對話等。在搜索中，使用基于深度學(xué)習(xí)模型的多層次語義匹配技術(shù)，搜索結(jié)果的關(guān)聯(lián)度將大幅提升。例如，在應(yīng)用深度學(xué)習(xí)模型前，搜索“水泵忽強忽弱”結(jié)果是不相關(guān)的，應(yīng)用之后的關(guān)聯(lián)度大幅提升。而在基于知識庫問答和面向任務(wù)的對話系統(tǒng)中，使用精細(xì)的句法分析和語義角色標(biāo)注技術(shù)，可以準(zhǔn)確定位和理解用戶意圖。

篇章理解是文本理解的另一核心組成，吳華表示，“NLP技術(shù)可以通過用戶興趣網(wǎng)絡(luò)和文檔語義網(wǎng)絡(luò)形成標(biāo)簽圖譜，最終得到‘不搜即得’的智能推薦?！痹摷夹g(shù)以用戶興趣為出發(fā)點，依托從搜索、貼吧、百科等不同渠道獲得的有明確含義的主題、話題或?qū)嶓w等內(nèi)容標(biāo)簽，形成可實時更新的關(guān)注點標(biāo)簽圖譜。在下面這張關(guān)注點標(biāo)簽圖譜中，“AI”話題與“科技”、“VR”等話題，“烏鎮(zhèn)峰會”等事件關(guān)聯(lián)在一起。基于關(guān)注點圖譜對文檔內(nèi)容進行標(biāo)注，可以更好地描述用戶與文章之間的關(guān)系，從用戶的視角對篇章進行更合理的分類和有效的推薦。

吳華在現(xiàn)場向觀眾展示了兩首五言絕句，多數(shù)人都難以區(qū)分哪一首是由百度機器創(chuàng)作的。目前，百度人工智能撰寫的文章通過消息推送、資訊流、開放訂閱、百家號等途徑進行分發(fā)，供用戶閱讀。

基于上述多項技術(shù)能力的積累，百度已經(jīng)構(gòu)建起問答、對話和機器翻譯三大系統(tǒng)。在問答方面，面對用戶提出的問題，系統(tǒng)可基于知識圖譜加以回答。吳華坦言，沒有理解或推理仍是問答領(lǐng)域的巨大挑戰(zhàn)，對此，百度日前推出了世界上最大的中文機器閱讀理解數(shù)據(jù)集——DuReader，該數(shù)據(jù)集基于真實應(yīng)用需求，所有問題來源于百度搜索用戶的真實問題，文檔來自全網(wǎng)真實采樣的網(wǎng)頁文檔和知道UGC文檔，答案基于問題與文檔人工撰寫生成，目前擁有20萬個問題和100萬個文檔；同時，數(shù)據(jù)集標(biāo)注了問題類型、實體和觀點等豐富信息，彌補了現(xiàn)有主流數(shù)據(jù)集對于觀點類問題覆蓋不足的問題。

對話系統(tǒng)以基于意圖圖譜的核心技術(shù)與用戶進行多輪交互（multi-turn?interaction）。吳華說道，目前面向任務(wù)的對話模式將不同的任務(wù)分發(fā)給對應(yīng)的bot，使任務(wù)管理低效而復(fù)雜，而意圖圖譜將所有意圖容納到一張圖中，從而能夠進行連續(xù)一致的對話管理。

吳華表示，百度已經(jīng)將NLP技術(shù)應(yīng)用在眾多百度的產(chǎn)品當(dāng)中。2015年5月，百度將神經(jīng)網(wǎng)絡(luò)機器翻譯技術(shù)應(yīng)用到百度在線翻譯服務(wù)中，推出了全球首個基于深度學(xué)習(xí)的大規(guī)模在線翻譯系統(tǒng)。今年，百度還推出了一款兼具Wi-Fi與翻譯雙重功能的Wi-Fi翻譯機，自帶80多個國家的移動數(shù)據(jù)流量，支持實時語音翻譯。

另外，百度也通過平臺化的方式對更多產(chǎn)品進行支持。百度開發(fā)的自然語言理解一站式解決平臺NLPC（NLP?Cloud），已經(jīng)可以提供25種NLP模塊，每天被調(diào)用超過2000億次。百度AI開放平臺開放了80多項百度核心AI技術(shù)能力，其中包含NLP模塊、UNIT、翻譯在內(nèi)的十多項自然語言處理方面的能力，供開發(fā)者與合作伙伴接入。

近幾年來，NLP技術(shù)的發(fā)展受到了世界各國的高度重視。在美國AI創(chuàng)業(yè)公司中，自然語言處理領(lǐng)域的創(chuàng)業(yè)公司數(shù)量最多。中國的AI創(chuàng)業(yè)公司中自然語言處理領(lǐng)域的創(chuàng)業(yè)公司位居第三。NLP技術(shù)的發(fā)展和應(yīng)用正推動人機交互走進一個新的時代。吳華指出，百度自然語言處理技術(shù)將持續(xù)高速優(yōu)化升級，持續(xù)為開發(fā)者、合作伙伴賦能。智能時代即將來到，百度將讓AI更懂人類。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。