為什么NLP相對來說這么困難?

當我在思考這個問題的時候,不禁回想到了我的小時候就覺得非常神奇的IBM機器人沃森,這臺機器人擁有當時人類所制造機器的最頂級的智慧,具有高級語言處理能力并且能夠初步理解英語的能力.

初步來看,實現(xiàn)這樣的一個能夠和語言與人類進行交流的機器人,其中包括語音識別和自然語言處理(包括手語,唇語,肢體語言等)來與人類進行溝通,通過自然語言生成和語音合成來和人類進行交際,同時也需要進行信息檢索和信息抽取,從而能夠進行推理,根據(jù)已知的事實來得到結論.

語言處理中的一些困難:

我們把處理口語和書面語的計算技術稱為語音和語言處理,合起來就算是自然語言處理,其實這是一個很廣泛的定義,這個范圍從人人皆知的比如分詞計算,自動換行這樣的相對簡單的技術,直到比如微軟小冰這樣的自動回答,Google翻譯這樣的實時口語自動翻譯的高級技術.

而自然語言處理相對于計算機視覺這樣的其他人工智能的應用來說,自然語言處理需要從業(yè)人員有一定的語言知識,就好比我們在剛入門的時候用NLTK包來計算文本文件的詞數(shù),句數(shù),以及上下文語句等.當我們如果用nltk上的處理字節(jié)數(shù)功能時,這就是一個簡單的數(shù)據(jù)處理工具,而我們如果要去計算一篇文章中的詞數(shù),句數(shù)的時候,就需要讓計算機知道什么是詞,什么是句子,從哪里斷句,從哪里開始的語言知識,這個時候工具就變成了一個自然語言處理系統(tǒng).但是像是nltk這樣的工具畢竟還是一個簡單的系統(tǒng),他的語言知識也比較有限,如果要其擁有跟我們人類有對話的語言能力,我們就必須要求系統(tǒng)擁有更加廣泛和更加深刻的語言知識,因此這就需要從業(yè)人員擁有處理更加復雜系統(tǒng)所需的語言知識范圍和種類的語言能力.

而計算機識別語音的時候,計算機也必須要分析他所能接受的聲音信號,那些是噪音,那些是有用的知識,并且因此來說,為了生成回答進行反饋,計算機必須要把知識圖譜中的回答進行整理組織成詞的系列,并且能夠生成出能夠讓人類是識別的語音信號.

當然,為了實現(xiàn)這些,我們就有用到phonetics和phonology的知識,這樣的知識能夠給幫我們如何建立模型來識別語句中的發(fā)音.

如果是處理詞,又有很多的問題,比如說處理I’m和I am的這樣的縮略詞形式,如果要能夠產(chǎn)生和識別單詞這樣那樣的變體,其實這就又要需要形態(tài)學上的知識,希望能夠反應關于上下文中詞的形態(tài)和行為的有關信息.

另外,除了處理一個個單詞以外,我們還要考慮如何生成一句話,并且能夠按照我們的需求進行生成,這樣我們有需要組詞成句的知識,以及詞匯語義學和組合語義學的知識

最后一個是最困難的,關于消除歧義:

例如“這房間就是個烤箱”、“這個房間就是個盒子”，雖然句式相同但都不是字面的意思，前者表示這個房間很熱，后者則表示這個房間很小。要讓計算機理解這些話的意思，不是僅僅做詞表示甚至句法分析能解決的。也例如，語言理解實際是一個多模態(tài)過程，需要綜合除語言之外的視覺、聽覺甚至觸覺等多模態(tài)的富語境信息才能實現(xiàn)真正的語言理解。我個人覺得，這些應該是自然語言理解/處理比較困難的地方。

自然語言理解/處理應該是實現(xiàn)通用人工智能的關鍵挑戰(zhàn)，但似乎不應是最難挑戰(zhàn)。語言能力是人類智能的集中體現(xiàn)，不過構建在語言等能力基礎之上的思辨、決策和創(chuàng)造等能力，似乎都還沒納入人工智能主要探討的范圍，也許這些更困難些。例如，如何讓機器像人一樣思考哲學問題，像人一樣指揮戰(zhàn)爭或運營商業(yè)公司，或像人一樣發(fā)明創(chuàng)造？這些問題似乎都比自然語言理解/處理更困難。

即使限定在自然語言處理，當前關心的問題也更偏重自然語言傳遞信息的工具屬性上，也就是如何讓計算機更準確地理解一句話的字面意思。人類語言更富魅力的“言有盡而意無窮”的特點，還遠未被探索。

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。