極客網(wǎng)·人工智能3月12日 計算機科學家團隊近期開發(fā)出一種更敏捷更具彈性的機器學習模型，它們可以周期性忘記已知信息，而現(xiàn)有大語言模型不具備忘卻能力。
實測表明，在很多情況下，“忘卻法”的訓練效率很高，忘卻型模型表現(xiàn)也會更好。韓國基礎(chǔ)科學研究院（Institute for Basic Science）的AI工程師Jea Kwon說，新研究意味著AI領(lǐng)域取得明顯進步。
“忘卻法”訓練效率很高
今天的AI語言引擎大多都是人工神經(jīng)網(wǎng)絡(luò)驅(qū)動的。網(wǎng)絡(luò)中的每一個“神經(jīng)元”都是一個數(shù)學函數(shù)，它會從其它神經(jīng)元接收信號，它會運算，然后通過多層神經(jīng)元發(fā)送信號。
最開始時信息流或多或少都是隨機的，當網(wǎng)絡(luò)不斷與訓練數(shù)據(jù)匹配，神經(jīng)元之間流動的信息會不斷優(yōu)化。例如，如果研究人員想訓練一個雙語翻譯模型，它首先要收集海量雙語文本，用文本訓練模型，它會調(diào)整神經(jīng)元之間的連接，將一種語言中的文本與另一種語言中的等效單詞聯(lián)系起來。
上述訓練會耗費大量計算力。如果模型運行時不夠出色，如果后來用戶的需求變了，模型會很難匹配。
新模型研究人員Mikel Artetxe說：“假設(shè)你有一個模型，里面包含100種語言，有1種語言沒有被覆蓋。如果你想將這種語言添加進去，那就要重新訓練?！?/p>
幾年前，Artetxe和同事用1種語言訓練神經(jīng)網(wǎng)絡(luò)，他們抹去神經(jīng)網(wǎng)絡(luò)所知的單詞組成信息，也就是所謂的“Tokens”。Tokens存儲在神經(jīng)網(wǎng)絡(luò)的第一層，它也叫“嵌入層”。對于其它層，不去理睬。抹去第1語言的Tokens之后，用第2種語言訓練，第2種語言新的Tokens可以填充到嵌入層。
雖然模型包含大量不匹配信息，但仍然可以用第2種語言重新訓練，也就是說模型可以學習、處理第2種語言。研究人員認為，雖然嵌入層存儲了第2種語言的語匯特殊信息，但神經(jīng)網(wǎng)絡(luò)更底層存儲了抽象信息，它涉及到人類語言的幕后概念，正是這些概念幫助模型學習第二種語言。
研究報告作者Yihong Chen認為：“我們生活在相同的世界，用不同語言的不同詞匯來賦予相同事物以概念。所以在模型之中會有相同等級的推理，比如一個蘋果，它是甜的，美味的，它不只是一個詞匯?！?/p>
將新語言添加到已訓練模型中，采用“忘卻法”效率很高，盡管如此，還是需要重新訓練，仍然需要海量數(shù)據(jù)和強大的處理能力。有沒有更好的辦法？當然有，不需要訓練，直接抹去嵌入層，然后再訓練，也就是在初步訓練時周期性重置嵌入層。
Artetxe稱：“如此一來，整個模型就能適應(yīng)重置。如果你想擴展模型，讓它適應(yīng)另一種語言，過程會變得更容易?！?/p>
忘卻型模型表現(xiàn)更好
研究人員用一種比較通用的大語言模型Roberta做實驗，采用周期性忘卻技術(shù)訓練，將它與那些用標準、非忘卻方法訓練的模型作比較。結(jié)果發(fā)現(xiàn)，在處理第1種語言時，忘卻型模型得分85.1分，傳統(tǒng)標準模型得分86.1分。再用第2種語言訓練，只用約500萬Tokens（第一種語言用了700億）訓練，忘卻型模型的精準度得分降至62.7分，標準模型降到53.3分。
再訓練時如果研究人員施加計算限制，忘卻型模型的表現(xiàn)會更好。例如，當研究人員將訓練長度從125000步短到5000步，忘卻型模型的平均得分約為57.8分，標準模型降到37.2分，幾乎和猜測差不多。
因此研究人員得出結(jié)論：在學習語言時，忘卻型模型表現(xiàn)更好一些。
魁北克深度學習研究中心Mila的研究人員Evgenii Nikishin認為：“因為模型在訓練時不斷忘卻，然后再重新學習，所以后面再教網(wǎng)絡(luò)一些新東西時會變得更容易些?！狈N種跡象顯示，模型理解語言時會從更深層次著眼，不只是了解單個詞匯的意思。
忘卻法與人類大腦的運行模式有些相似。舊金山大學神經(jīng)科學家Benjamin Levy認為：“存儲大量詳細信息時人類記憶是相當不精準的。但人類大腦可以記住經(jīng)驗要點，記住抽象信息，而且擅長推斷。讓AI像人類一樣處理信息，比如讓它具備忘卻能力，AI也許會更有彈性?！?/p>
Yihong Chen認為，未來也許會出現(xiàn)制造語言模型的工廠，這樣的工廠需要忘卻型技術(shù)，它是一個基本模型，可以快速適應(yīng)新領(lǐng)域。（小刀）
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
