在過去的十幾年，人機(jī)交互的方式從鍵盤升級成按鍵，從按鍵又變成手指觸摸，下一個(gè)次變革，人類將回歸最自然的交互方式——對話。對話方式讓機(jī)器幫助人直接完成工作。智能客服作為最早的應(yīng)用智能對話系統(tǒng)的落地產(chǎn)品，對于智能對話系統(tǒng)的工業(yè)化應(yīng)用的探索貢獻(xiàn)頗多。
京東一直堅(jiān)持以技術(shù)驅(qū)動(dòng)公司成長，致力于將人工智能技術(shù)與商業(yè)場景應(yīng)用相結(jié)合，給消費(fèi)者提供更優(yōu)質(zhì)的體驗(yàn)。在今年11.11全球好物節(jié)中，京東智能客服與用戶發(fā)生超1630萬次對話，獨(dú)立解決了90% 用戶反饋的問題。此外，智能客服也擁有了情感智能，能夠精準(zhǔn)識別出七種不同的用戶情感，為消費(fèi)者提供更貼心溫暖的幫助。在近期的產(chǎn)品迭代實(shí)踐中，針對一系列的技術(shù)難點(diǎn)，京東AI團(tuán)隊(duì)對此進(jìn)行了突破性的探索，這些嘗試，既讓普通用戶與智能客服的對話體驗(yàn)實(shí)現(xiàn)極致提升，又讓人工客服享受AI智能輔助帶來的便利，更讓所有使用智能客服的京東商家在構(gòu)建機(jī)器人知識大腦時(shí)更容易，真正地讓所有參與客服服務(wù)的人都感受到AI賦能的力量。
在經(jīng)典的智能對話交互架構(gòu)中，自然語言理解是整個(gè)流程中的核心模塊，直接影響整體的對話效果。京東智能客服作為任務(wù)導(dǎo)向型機(jī)器人，此前較為關(guān)注對話中的業(yè)務(wù)處理邏輯。為了完善整體對話體驗(yàn)，勢必需要對閑聊對話與FAQ對話給予更多的關(guān)注。因此，在近期，京東AI的算法團(tuán)隊(duì)重點(diǎn)對自然語言理解模塊與閑聊對話、FAQ對話兩類對話模式這三部分進(jìn)行了一系列全新的探索。
常見的智能對話交互框架
首先，在自然語言理解領(lǐng)域，上下文理解一直是智能對話系統(tǒng)重點(diǎn)關(guān)注的問題。最簡單的上下文理解方法，是將歷史問題拼接起來整體進(jìn)行預(yù)測，但是這種策略無法區(qū)分每一句的側(cè)重點(diǎn)，往往出現(xiàn)因?yàn)榻Y(jié)合上文反而導(dǎo)致識別錯(cuò)誤的情況。
下圖是基于Hierachical Attention Networks（HAN）改進(jìn)的Sentence Attention Hybrid Networks模型，能夠較好的解決上面提到的問題，在結(jié)合上下文的同時(shí)，結(jié)合attention機(jī)制能夠有效的區(qū)分每句話的重要程度。
Sentence Attention Hybrid Networks模型算法結(jié)構(gòu)
改進(jìn)后的HAN模型做了以下優(yōu)化：先將第一層雙向LSTM模型替換為捕捉局部特征能力更強(qiáng)的CNN模型；再將第二層雙向LSTM改為單向LSTM，這也與實(shí)際情況中越靠近最后的話越重要保持一致。每個(gè)層級具體內(nèi)容如下：第一層CNN輸入為詞向量拼接成的句字向量矩陣；經(jīng)CNN處理后的輸出直接作為第二層LSTM的輸入，其中LSTM的節(jié)點(diǎn)數(shù)與句子個(gè)數(shù)保持一致，LSTM的輸出作為每句話的句向量；經(jīng)過最終attention后獲取最終文檔的向量表示，并經(jīng)過softmax進(jìn)行最終的分類。新模型在多個(gè)場景上線后，準(zhǔn)確率有5-10個(gè)點(diǎn)的提升。因上下文識別錯(cuò)誤導(dǎo)致的應(yīng)答問題占比降低5個(gè)點(diǎn)，上下文應(yīng)答效果提升明顯。
除此之外，在人工客服智能輔助領(lǐng)域，我們還嘗試了另一種解決上下文意圖識別的方案。由于上述模型更多適用于關(guān)聯(lián)少量上文語句的場景，對于需要全文關(guān)聯(lián)的情況效果不夠優(yōu)秀，因此我們提出了Hierarchical Attention Dilated Convolutional Networks（以下簡稱HADCN）算法。
傳統(tǒng)RNN類的模型在捕獲全局的句子語義時(shí)有優(yōu)勢，但速度較慢。CNN類的模型在運(yùn)算速度上有優(yōu)勢，但很難獲取上文信息。而HADCN模型參考了WaveNet/Bytenet按照Dilated Convolutional Networks（以下簡稱“DCN”）擴(kuò)展到語音和翻譯結(jié)果的產(chǎn)生的思路，是一種兼顧精度和速度的框架。這一框架的引入，提供了幾乎業(yè)界最好的精確度，靈活度，適應(yīng)不同的上下文輸入，訓(xùn)練和推理速度亦在同類型算法里最快，可以讓工業(yè)實(shí)踐在一個(gè)穩(wěn)定的框架下，不需要完全跟隨學(xué)界各種神經(jīng)網(wǎng)絡(luò)分類算法，解決業(yè)務(wù)范圍內(nèi)大多數(shù)應(yīng)用問題，減少重復(fù)開發(fā)。
這一算法采用句子間先分句編碼再合并編碼的方式；每一個(gè)DCN網(wǎng)絡(luò)可以堆疊若干層，加大深度，如下圖綠色虛線框所示；每個(gè)句子用DCN堆疊S1層，產(chǎn)生編碼，句子之間也采用DCN堆疊S2層，產(chǎn)生整體多句的編碼，然后產(chǎn)生最后的分類輸出；下圖中以3句為例展示結(jié)構(gòu)；每個(gè)DCN內(nèi)采用Dilated CNN，在每個(gè)時(shí)刻都計(jì)算對應(yīng)每個(gè)詞的編碼表達(dá)；相鄰兩個(gè)DCN堆疊之間采用Self Attention連接，規(guī)整不同位置的詞之間的句法和語義關(guān)系；DCN內(nèi)的每一個(gè)運(yùn)算塊簡化為單層CNN，加快運(yùn)算速度。
HADCN模型算法結(jié)構(gòu)
這一新算法主要應(yīng)用于人工客服會話的前文智能總結(jié)中：基于人工客服會話數(shù)據(jù)建模，打破了傳統(tǒng)針對單句的意圖識別，采用用戶問題+客服答案的會話維度訓(xùn)練數(shù)據(jù)，對整通會話進(jìn)行識別，模型返回分類結(jié)果。模型上線后，對線上30分類的會話意圖，準(zhǔn)確率能達(dá)到80%。另外，實(shí)驗(yàn)發(fā)現(xiàn)，HADCN在少數(shù)DCN堆疊的情況下，對上下文意圖識別任務(wù)可以比改進(jìn)后的HAN模型有約2%的準(zhǔn)確度提升。
除此之外，我們還將多層次意圖的思想引入自然語言理解領(lǐng)域。傳統(tǒng)的意圖識別僅僅Domain – intent的單一維度的識別，而本質(zhì)上人的任何表達(dá)必然具備多種不同維度的信息。而一旦將句子的信息進(jìn)行多維投射，人的思維就難以通過經(jīng)驗(yàn)對多維信息進(jìn)行意圖定義。此時(shí)便需要引入聚類的思想進(jìn)行分類構(gòu)建。為了適應(yīng)聚類這一數(shù)據(jù)處理方式在邏輯上的不清晰，則需要引入層級的概念，對聚類結(jié)果進(jìn)行容錯(cuò)。層級的概念也與客服領(lǐng)域?qū)⒂脩粼V求進(jìn)行分級歸類的慣例不謀而合，更便于運(yùn)營工作開展進(jìn)行。
因此，我們利用聚類的方式，把意義較為接近的分類分成兩層或者多層，每個(gè)模型之間不能沖突，下層節(jié)點(diǎn)具有容錯(cuò)性。層次聚類算法分成凝聚式和分裂式兩種，取決于層次分解是以自底向上(合并)還是以自頂向下(分裂)方式形成。
凝聚式層次聚類使用自底向上的策略，開始時(shí)每個(gè)對象自己是獨(dú)立的類(N個(gè))，然后不斷合并成越來越大的類，直到所有的對象都在一個(gè)類中，或者滿足某個(gè)終止條件。在合并過程中需找出兩個(gè)最近的類讓他們合并形成一個(gè)類，所以最多進(jìn)行N次迭代就能將所有對象合并到一起。分裂式層次聚類使用自頂向下的策略，開始時(shí)所有對象都在一個(gè)類中(1個(gè))，然后不斷的劃分成更小的類，直到最小的類都足夠凝聚或者只包含一個(gè)對象。考慮到分類語料本身的多維特征以及含義交叉性，我們主要采用層次凝聚的方式構(gòu)建層級。方案上線后，末端分類有6%的上升。
業(yè)務(wù)分類在二維空間聚類分布圖
說完了意圖識別，在FAQ對話領(lǐng)域，我們同樣達(dá)成了一定的技術(shù)突破。由于客服對話場景中，對于答案質(zhì)量的要求較高，因此在匹配時(shí)我們一般側(cè)重于準(zhǔn)確率，這就導(dǎo)致FAQ的召回受限，效果難以發(fā)揮。
因此，我們應(yīng)用了QA SWEM算法方案來解決此問題。該算法綜合考慮了算法的準(zhǔn)確率和運(yùn)行效率，使用了Word Embedding和Pooling兩種結(jié)構(gòu)，采用了四種SWEM模型，包括：
SWEM-AVG：基于word embeddings 的 average pooling，作為hidden state
SWEM-MAX：基于word embeddings 的 max pooling，作為hidden state。
SWEM-CONCAT：將SWEM-AVG和SWEM-MAX concat后，作為hidden state。
SWEM-HIER：將word embeddings分窗口進(jìn)行avg pool，之后再整體的max pooling，作為hidden state
以SWEM-MAX為例，整個(gè)模型的核心算法表示為：
我們針對整個(gè)算法，進(jìn)行了進(jìn)一步的迭代和優(yōu)化，創(chuàng)新地提出將Attention以及GBDT與SWEM結(jié)合的方案。
Attention按照如下的算法進(jìn)行構(gòu)建：
fatt(hi,sj)=h?iWasj。
雙向的Attention，對待匹配的兩個(gè)句子分別進(jìn)行二次編碼。
考慮到SWEM主要是深度學(xué)習(xí)的特征，而且模型比較簡單，特征表達(dá)能力有限，我們使用GBDT把一些非深度學(xué)習(xí)的特征（比如編輯距離、詞語重合度等）和SWEM進(jìn)行融合，在保證運(yùn)行性能的同事，進(jìn)一步提升QA匹配模型的效果。
得到句子之間的Attention編碼，再整合上SWEM模型，比現(xiàn)有的BiLSTM算法提升2-3%，模型的訓(xùn)練和運(yùn)行性能上都取得了更好的效果。
最后再談一下閑聊對話領(lǐng)域，之前智能客服仍采用傳統(tǒng)檢索方式。傳統(tǒng)檢索方式主要包括三個(gè)模塊，query解析，問答檢索和答案重排序。query解析是對用戶query進(jìn)行理解，提取出重要部分；問答檢索是從問答庫中檢索出query相關(guān)的問答對；答案重排序是對檢索出來的問答對進(jìn)行重新排序。該方法簡單易操作，答案易理解，缺點(diǎn)是答案受限于問答庫，缺乏多樣性。
為了解決缺乏多樣性帶來的效果欠佳與維護(hù)成本高的問題，我們著力將深度生成方式引入該場景。深度生成方式采用經(jīng)典的encoder-decoder框架，并結(jié)合了注意力機(jī)制，能根據(jù)用戶query，來直接生成答案。生成方式主要有三個(gè)部分，編碼，解碼和注意力。編碼就是將輸入的query編碼成一個(gè)向量，解碼則是將生成的向量再轉(zhuǎn)化成輸出的答案，注意力指在輸出的時(shí)候需要重點(diǎn)關(guān)注輸入的哪些部分。通過對生成答案與原有檢索式方案產(chǎn)出的答案的標(biāo)注對比，生成答案較檢索式答案質(zhì)量提升約20%，應(yīng)答效果顯著提升。
深度生成式閑聊框架
過去一段時(shí)間，結(jié)合業(yè)務(wù)需求，我們在智能對話領(lǐng)域展開了多項(xiàng)探索，取得了一定成效。我們的技術(shù)探索之路還在繼續(xù)，未來還要在堅(jiān)持用戶體驗(yàn)為先的基礎(chǔ)上，不斷擴(kuò)展AI技術(shù)的應(yīng)用領(lǐng)域，并打造數(shù)據(jù)閉環(huán)，通過數(shù)據(jù)反哺算法效果的持續(xù)提升，為打造業(yè)內(nèi)首個(gè)具備情感智能個(gè)性化的解決型智能客服，為用戶提供極致體驗(yàn)而努力。相信隨著AI技術(shù)的不斷發(fā)展，未來智能客服對話系統(tǒng)還將有持續(xù)提升，我們也將和業(yè)界一道推動(dòng)這一領(lǐng)域的創(chuàng)新實(shí)踐。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
