智能客服機(jī)器人應(yīng)答準(zhǔn)確性大幅提升 哥倫比亞大學(xué)信息處理實(shí)驗(yàn)室與曉多科技合作發(fā)表論文

日前，成都曉多科技有限公司與哥倫比亞大學(xué)信息處理實(shí)驗(yàn)室合作發(fā)表論文《Dynamic Updating of the Knowledge Base for a Large-Scale Question Answering System》被ACM Digital Library收錄。論文提出了一種針對(duì)知識(shí)庫問答系統(tǒng)的自動(dòng)學(xué)習(xí)方案(英文簡(jiǎn)稱：ALKB-QA)，它采用了深度學(xué)習(xí)的方法來解決基于知識(shí)庫的問答系統(tǒng)在電子商務(wù)領(lǐng)域?qū)崿F(xiàn)大規(guī)模高質(zhì)量的應(yīng)答所面臨的主要問題和挑戰(zhàn)，是曉多科技的重要?jiǎng)?chuàng)新成果，也是曉多智能客服機(jī)器人的重大進(jìn)步。

ACM(Association for Computing Machinery，美國(guó)計(jì)算機(jī)學(xué)會(huì))創(chuàng)立于1947年，是全球歷史最悠久和最大的計(jì)算機(jī)教育和科研機(jī)構(gòu)。The ACM Digital Library數(shù)據(jù)庫收錄了美國(guó)計(jì)算機(jī)協(xié)會(huì)(Association for Computing Machinery)的各種電子期刊、會(huì)議錄、快報(bào)等文獻(xiàn)的全文信息，還可以看到出版物信息。《Dynamic Updating of the Knowledge Base for a Large-Scale Question Answering System》這篇論文內(nèi)容詳實(shí)，創(chuàng)造性和落地實(shí)用性強(qiáng)。試驗(yàn)數(shù)據(jù)和真實(shí)應(yīng)用的反饋數(shù)據(jù)都是其在知識(shí)庫問答領(lǐng)域的領(lǐng)先性和突破性的最好佐證，該論文為智能機(jī)器人的發(fā)展提供了優(yōu)秀的、先進(jìn)的方案。以上應(yīng)該是論文被收錄的主要原因。

如今，基于知識(shí)庫的問答系統(tǒng)有望在電子商務(wù)領(lǐng)域?qū)崿F(xiàn)大規(guī)模高質(zhì)量的應(yīng)答。但這樣的知識(shí)庫問答系統(tǒng)目前面臨兩個(gè)挑戰(zhàn)。一是為數(shù)以萬計(jì)的商家提供機(jī)器人應(yīng)答服務(wù)時(shí)效果很難得以保證;二是知識(shí)庫自身更新的成本比較高。該論文提出了一種針對(duì)知識(shí)庫問答系統(tǒng)的自動(dòng)學(xué)習(xí)方案，采用深度學(xué)習(xí)的方法來解決上述的兩個(gè)主要挑戰(zhàn)。

基于自動(dòng)學(xué)習(xí)方案的知識(shí)庫問答系統(tǒng)(ALKB-QA system)，主要分為離線學(xué)習(xí)模塊和在線服務(wù)模塊。離線學(xué)習(xí)模塊中，文中提出了一種新的知識(shí)庫模型——問答知識(shí)庫(QA-KB)，問答知識(shí)庫(QA-KB)中存儲(chǔ)了問答對(duì)及商品相關(guān)信息與問答對(duì)之間存在的錯(cuò)綜復(fù)雜的關(guān)系，方便用于高效準(zhǔn)確的檢索問答對(duì)及相關(guān)知識(shí)。

另外自動(dòng)學(xué)習(xí)方法主要包括處理海量聊天數(shù)據(jù)獲取問答對(duì)、用匹配模型對(duì)問答對(duì)進(jìn)行價(jià)值判別、匹配模型利用反饋進(jìn)行再次訓(xùn)練與知識(shí)庫更新這幾個(gè)步驟。結(jié)合針對(duì)知識(shí)庫問答系統(tǒng)提出的自動(dòng)學(xué)習(xí)方案，我們能高效的從海量的歷史聊天數(shù)據(jù)中挖掘出的大量的高質(zhì)量問答對(duì)，并將其自動(dòng)更新到知識(shí)庫中。

在線服務(wù)模塊中，主要利用了傳統(tǒng)的信息檢索技術(shù)和深度學(xué)習(xí)匹配模型，針對(duì)買家的問題，先在問答知識(shí)庫(QA-KB)中檢索到相關(guān)問答對(duì)，將答案作為候選，再用離線學(xué)習(xí)模塊中的匹配模型對(duì)候選答案進(jìn)行相關(guān)性排序，最終會(huì)將知識(shí)庫中最相關(guān)的答案回復(fù)給買家。

論文參與者、曉多科技CEO江嶺表示，該論文的數(shù)據(jù)支撐離不開曉多科技的大數(shù)據(jù)和實(shí)戰(zhàn)經(jīng)驗(yàn)的支持，針對(duì)基于自動(dòng)學(xué)習(xí)方法的知識(shí)庫問答系統(tǒng)(ALKB-QA system)，我們通過對(duì)比實(shí)驗(yàn)和線上實(shí)際應(yīng)用反饋進(jìn)行了一系列的客觀評(píng)估。據(jù)論文參與者劉小洋(目前在美國(guó)哥倫比亞大學(xué)博士后研究站工作、曉多科技有限公司算法顧問)和廖宇康(曉多科技算法工程師)介紹：在試驗(yàn)環(huán)節(jié)，我們從一批聊天數(shù)據(jù)中構(gòu)造了1801019個(gè)問答對(duì)，并利用自動(dòng)學(xué)習(xí)方法從中篩選出了69079個(gè)高質(zhì)量問答對(duì)，通過人工抽樣評(píng)估，結(jié)果表明，相對(duì)于一般方法，自動(dòng)學(xué)習(xí)方法的準(zhǔn)確率(Precision)提升了17%，召回率(Recall)提升了12.5%，綜合性能指標(biāo)F1提升了13.6%。同時(shí)，我們將基于自動(dòng)學(xué)習(xí)方法的知識(shí)庫問答系統(tǒng)(ALKB-QA system)應(yīng)用于商家客服的真實(shí)聊天場(chǎng)景，將系統(tǒng)產(chǎn)生的答案用于提示供客服工作人員進(jìn)行點(diǎn)擊采納。通過60天的數(shù)據(jù)統(tǒng)計(jì)，基于自動(dòng)學(xué)習(xí)方法的知識(shí)庫問答系統(tǒng)(ALKB-QA system)提供的答案的采納率呈明顯的持續(xù)上升趨勢(shì)，而由人工維護(hù)的知識(shí)庫問答系統(tǒng)所提供的的答案的采納率則無明顯變化。

目前，基于自動(dòng)學(xué)習(xí)方法的知識(shí)庫問答系統(tǒng)(ALKB-QA system)已成功運(yùn)用于曉多智能客服機(jī)器人系統(tǒng)中，機(jī)器人在輔助客服應(yīng)答的同時(shí)主動(dòng)地學(xué)習(xí)客服的回答，通過輕松的點(diǎn)擊“審核通過”之后可以更方便的更新知識(shí)庫中的答案，與逐條配置相比，自動(dòng)學(xué)習(xí)功能幫助用戶極大的節(jié)省配置成本，讓商家可以快速的配置出適應(yīng)自己業(yè)務(wù)的、專業(yè)的曉多智能客服機(jī)器人。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。