NLP最難“考卷”成績出爐：追一科技超越Facebook躍居第二

近日，自然語言處理領(lǐng)域權(quán)威數(shù)據(jù)集SuperGLUE最新榜單排名更新。Google預(yù)訓練模型T5保持第一，中國AI創(chuàng)業(yè)公司追一科技AI Lab團隊超越FacebookAI，躍居榜單第二。值得注意的是，相比谷歌T5等超大規(guī)模研究型模型，追一此次登榜的RoBERTa-mtl-adv模型在商業(yè)化能力也非常強勁，相關(guān)技術(shù)已經(jīng)落地到追一科技的AI數(shù)字員工產(chǎn)品線上，持續(xù)賦能銀行、保險、證券、零售、地產(chǎn)、能源，教育，互聯(lián)網(wǎng)等多個行業(yè)。

追一科技躍居SuperGLUE測試榜第二

SuperGLUE(SuperGeneral Language Understanding Evaluation)是當下NLP領(lǐng)域難度最大，權(quán)威性最高，含金量最足的測評標準之一，由紐約大學、華盛頓大學以及谷歌旗下的DeepMind聯(lián)合Facebook作為主要發(fā)起人推出，最大程度涵蓋了現(xiàn)實生活中可能遇到的不同類型的NLP任務(wù)，旨在更真實地反映當前最前沿的NLP技術(shù)可以達到的認知智能水平。

追一科技在為企業(yè)提供智能交互服務(wù)的過程中，技術(shù)和應(yīng)用互相驅(qū)動，將實際商業(yè)化應(yīng)用中總結(jié)出的多任務(wù)學習、對抗訓練、知識蒸餾等技術(shù)手段和經(jīng)驗融入到參賽模型中，并在SuperGLUE測評數(shù)據(jù)集上拿到第二的成績。

除去作為參照的人類水平，目前排名榜單第一的是Google的T5模型。從學術(shù)研究看，T5模型達到了目前“實驗室智能”的最好水平，但如果考慮商用，T5需要耗費大量的算力，且模型自身體積過于龐大，目前還不能落地到實際業(yè)務(wù)場景中，缺少實際的商業(yè)應(yīng)用價值。

而追一科技通過多任務(wù)學習、對抗訓練以及知識蒸餾的方式，使得RoBERTa-mtl-adv模型大小合理，效果僅次于Google的T5。同時，相關(guān)技術(shù)也落地到了追一科技AI數(shù)字員工的產(chǎn)品線上。就SuperGLUE排名而言，可以說追一科技的RoBERTa-mtl-adv模型在目前全球具有實際落地能力的NLP模型中效果最好，排名最高。

“學霸”模型的商業(yè)化能力

SuperGLUE測試項目并非是“花拳繡腿”，而是實實在在考驗?zāi)Ｐ屯ㄓ媚芰Φ?ldquo;鐵人三項”;參加SuperGLUE也并非只是為了刷新評分，更重要的是檢驗當前技術(shù)能否很好地落地到實際應(yīng)用場景中去。

SuperGLUE覆蓋了問答、推斷、語義理解、常識判斷等自然語言理解維度，是人機智能交互過程中的核心環(huán)節(jié)，在具體的業(yè)務(wù)場景中都有很重要的應(yīng)用價值。追一科技此次參賽模型的相關(guān)NLP技術(shù)已經(jīng)被成熟運用于到自主研發(fā)的全套AI數(shù)字員工產(chǎn)品線上，廣泛服務(wù)于銀行、保險、泛互聯(lián)網(wǎng)、地產(chǎn)、政企等多個行業(yè)的標桿客戶。例如，在追一科技的智能在線機器人Bot中就融入了多輪問答技術(shù)、語義檢索、機器閱讀理解技術(shù)等NLP技術(shù)，能準確識別用戶意圖，滿足用戶需求。

口說無憑，接下來就結(jié)合SuperGLUE中的任務(wù)與Bot的具體案例，一探虛實。

單/多輪問答技術(shù)是指機器人和用戶之間一問一答，實現(xiàn)多輪對話的過程。例如下面這個智能在線機器人Bot服務(wù)餐飲行業(yè)的場景：

智能在線機器人Bot不僅可以從對話中準確識別出地點，人數(shù)等信息，還能進一步追問用戶未給出的“用餐時間”的信息，滿足客戶的需求。而傳統(tǒng)的客服機器人并不會對未給出的潛在信息做出反應(yīng)。

機器閱讀理解技術(shù)在于機器人去“用力”理解文檔中內(nèi)容的意思，從而根據(jù)用戶需求輸出相應(yīng)的結(jié)果。例如在金融保險領(lǐng)域會涉及到大量保險業(yè)務(wù)文檔的修訂、新增等情況。在面對客戶時，即使是富有經(jīng)驗的客戶經(jīng)理，往往也很難迅速結(jié)合所有新增的文檔內(nèi)容進行有效回答。這時，定制了閱讀理解技術(shù)的智能在線機器人Bot就又可以發(fā)揮作用了——可以實時幫助業(yè)務(wù)人員，針對相關(guān)問題從新文檔中提取出答案，解決問題，降低出錯的概率。

自然語言推斷任務(wù)中“文本蘊含”是常出現(xiàn)的形式，在實際用語中非常的普遍，參考下面這個銀行領(lǐng)域的例子：

因為白金信用卡屬于信用卡，因此“我的白金信用卡需要掛失”蘊含在“我的信用卡需要掛失”中，因此，智能在線機器人Bot 在回答用戶時只需準確指引用戶如何掛失信用卡即可。

指代消解在人的交流過程中非常常見，在表達中適當?shù)厥褂弥复鷷尡磉_更加簡練卻不影響本意的闡述。如下面這個出行領(lǐng)域的例子：

智能在線機器人Bot理解了客戶問句里的“上次”其實指代的是“上次中途取消訂單”，所以立馬給出了正確回復。

然而，最難為機器人的是常識推斷，對語言的理解離不開對常識的掌握。舉這么一個例子：

機器人需要具備“影子是由太陽升起照射留下的”這樣的常識性推斷，才能正確的選擇答案。對于人來說，這些常識很簡單，但是對于機器來說，大量的這種常識知識都潛藏在我們意識的深處，AI系統(tǒng)的研究者幾乎不可能把所有這樣的常識都總結(jié)出來，并灌入到系統(tǒng)中，所以機器人在該數(shù)據(jù)集的表現(xiàn)往往不盡如人意。

落地到現(xiàn)實場景中，比如我們可以對智能在線機器人Bot說“我銀行卡弄丟了”，Bot就會詢問你是否需要掛失。因為它具備了“弄丟銀行卡需要掛失”這樣的業(yè)務(wù)常識。

可以看到，真實的交互場景中模型需要對語言的不同維度都具有理解能力才能完全正常流暢的對話。而上述的幾個例子中的問題形式都很好地包含在了SuperGLUE的不同數(shù)據(jù)集中，因此，此次追一科技在SuperGLUE測評指標上獲得的成績，不僅是對其RoBERTa-mtl-adv模型在理解自然語言技術(shù)上的一個肯定，還驗證了“技術(shù)驅(qū)動應(yīng)用，應(yīng)用導向技術(shù)”策略的可行性，更加堅定了追一科技繼續(xù)深耕技術(shù)，持續(xù)用AI賦能百業(yè)的信念。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。