在近幾年，人工神經(jīng)網(wǎng)絡(luò)--一種參照大腦運作模式而建成的計算模型--已經(jīng)成為了最為炙手可熱的人工智能系統(tǒng)，并且應(yīng)用于從語音到圖像的各個領(lǐng)域。
AI科技評論消息，MIT CSAIL于今日發(fā)布了一個重磅研究成果：他們已經(jīng)開發(fā)出一個大腦神經(jīng)回路的計算模型，它揭示了抑制神經(jīng)元的生物意義。
這個模型是由一組輸入神經(jīng)元陣列與同等數(shù)量的輸出神經(jīng)元組成，采用「競爭學(xué)習(xí)規(guī)則」（winner-take-all）來操作。
也就是說，網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競爭以求被激活，但在每一時刻只有一個輸出神經(jīng)元被激活。這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為Winner Take All,這就像美國大選一樣，在該州獲得更多選票的候選者就會得到該區(qū)所有的選票。
MIT研究者們證明，通過使用理論計算機科學(xué)的相關(guān)工具，他們的模型能夠讓一定配置的抑制性神經(jīng)元遵循「競爭學(xué)習(xí)規(guī)則」，并獲得最有效的結(jié)果。這其中原因何在？真相就在于該模型能夠?qū)σ种菩陨窠?jīng)元在大腦中的行為進行預(yù)測，而這也成為了計算分析輔佐神經(jīng)科學(xué)研究的絕佳例子。
這一新發(fā)現(xiàn)在本周的理論計算機科學(xué)變革會議上公布。論文作者為MIT軟件科學(xué)及工程的NEC教授Nancy Lynch,博士后Merav Parter及電子工程與計算機科學(xué)的研究生Cameron Musco.Lynch表示，「這一發(fā)現(xiàn)能夠為計算機網(wǎng)絡(luò)或以手機為代表的電子設(shè)備與生物系統(tǒng)中的神經(jīng)網(wǎng)絡(luò)之間建立起緊密聯(lián)系，我們正在嘗試從分布式計算的角度尋找可能使之受益的方向，并將重點放在算法上。
為了補充一些背景知識，AI科技評論先為大家簡單介紹一下
人工神經(jīng)網(wǎng)絡(luò)與人體神經(jīng)網(wǎng)絡(luò)的聯(lián)系與區(qū)別：
我們都知道，大腦的神經(jīng)細(xì)胞存在兩種狀態(tài)：興奮和抑制。神經(jīng)細(xì)胞通過某種方式將所有樹突上的信號進行相加，如果信號總和超過了某個閾值，那么這個神經(jīng)細(xì)胞就會被刺激，達(dá)到興奮狀態(tài)。人工神經(jīng)網(wǎng)絡(luò)也就是模仿上述原理而設(shè)計的一種算法模型。
人工神經(jīng)網(wǎng)絡(luò)與人體的神經(jīng)元類似，由多個節(jié)點（神經(jīng)元）之間聯(lián)結(jié)而成，每個節(jié)點代表一種特定的輸出函數(shù)，并根據(jù)各個節(jié)點的不同權(quán)重生成不同的計算輸出。
由于權(quán)重能夠表示激發(fā)或抑制作用（在這里，雷鋒網(wǎng)為大家簡單表示為正負(fù)關(guān)系），這些或正或負(fù)的數(shù)據(jù)將作為激勵函數(shù)的輸入進行作用。而這個激勵函數(shù)經(jīng)過所有不同節(jié)點的權(quán)重綜合計算后得到一個新的激勵值，并最終得到我們想要的結(jié)果。
而在人工智能應(yīng)用中，實際情況當(dāng)然會更加復(fù)雜一些。一個神經(jīng)網(wǎng)絡(luò)可以接受不同數(shù)據(jù)的訓(xùn)練，不斷通過調(diào)整權(quán)重而得到更契合實際的結(jié)果。
“生物層面上的真實性”
Lynch團隊對該模型進行了多處修改，使得人工神經(jīng)網(wǎng)絡(luò)在生物層面更加真實。首先是增加抑制性神經(jīng)元的數(shù)量。通常在人工神經(jīng)網(wǎng)絡(luò)中，連接上的權(quán)重值就和方才提及的一樣，通常是正的，或者是可正可負(fù)的。但在人體大腦中，有一些神經(jīng)網(wǎng)絡(luò)能夠發(fā)揮純粹的抑制作用，并阻止其它神經(jīng)元活動，因此MIT的研究人員參考這一點，將這些神經(jīng)元建模為只連接負(fù)權(quán)重的節(jié)點。
而就像我們所了解到的一樣，很多人工智能采用的是前饋網(wǎng)絡(luò)，即信號只從一個方向通過網(wǎng)絡(luò)，從接收輸入數(shù)據(jù)的第一層到提供計算結(jié)果的最后一層。但大腦間的反饋會更加復(fù)雜一些。
Lynch、Parter及Musco的神經(jīng)網(wǎng)絡(luò)就增加了一層反饋機制，輸出神經(jīng)元的信號傳遞到抑制性神經(jīng)元，它的輸出會再次傳遞到輸出層。此外，輸出神經(jīng)元的信號也會反饋給自身，這對競爭學(xué)習(xí)規(guī)則而言顯得非常重要且有效。
MIT的研究人員改進的人工神經(jīng)網(wǎng)絡(luò)還有一點最大的不同在于，神經(jīng)網(wǎng)絡(luò)變得更具概率性。因為在此前傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)中，如果節(jié)點的輸入值超過某個閾值，則節(jié)點會被激發(fā)。但在大腦中，即使增加了輸入神經(jīng)元的信號強度，也只會增加輸出神經(jīng)元激活信號的機會。這同樣對于競爭學(xué)習(xí)規(guī)則也具有不小的意義。
抑制的優(yōu)點
Parter與她的同事們成功證明，如果只有一個抑制性神經(jīng)元，是不可能變成競爭學(xué)習(xí)的最終「贏家」的（但兩個就OK了?。?。其中的秘訣在于，如果多于一個輸出神經(jīng)元激活抑制性神經(jīng)元（研究人員稱之為收斂神經(jīng)元）能夠激活強抑制信號。而另一個抑制性神經(jīng)元（被稱為穩(wěn)定神經(jīng)元）的功能在于，只要任何輸出神經(jīng)元正在激活信號，那么它都只會發(fā)出更弱的信號。
收斂神經(jīng)元能夠驅(qū)動神經(jīng)網(wǎng)絡(luò)選擇單個輸出神經(jīng)元，并在該節(jié)點上停止激活信號；而穩(wěn)定神經(jīng)元則會在收斂神經(jīng)元已經(jīng)停止活動時防止輸出神經(jīng)元的第二次作用。而如果輸出神經(jīng)元被抑制的時間越久，它越有可能繼續(xù)保持這一狀態(tài)。而一旦選擇了單個輸出神經(jīng)元，它的反饋回路能夠確保自己能夠克服穩(wěn)定神經(jīng)元的抑制作用。
但是，如果缺少了隨機性，網(wǎng)絡(luò)并不會收斂到單個輸出神經(jīng)元，抑制性神經(jīng)元權(quán)重的任何設(shè)置將同等地影響所有的輸出神經(jīng)元?！改阈枰S機性來打破這種對稱性，」Parter解釋道。
研究人員能夠確定所需要的輔助神經(jīng)元的最小數(shù)量，以保證特定收斂的速度，以及在一定數(shù)量的輔助神經(jīng)元的情況下的最大收斂速度。
越多的收斂神經(jīng)元并不代表著收斂速度一定會加快，比如說現(xiàn)在有100個輸入神經(jīng)元，兩到三個收斂神經(jīng)元已經(jīng)足夠，而增加第四個并不會增加你的速度。與此同時，一個穩(wěn)定神經(jīng)元已經(jīng)足夠。
但更有意思的地方在于，研究人員發(fā)現(xiàn)興奮性神經(jīng)元（刺激）與抑制神經(jīng)元一樣，并不能增強神經(jīng)網(wǎng)絡(luò)的處理效率。
Salk生物研究所的助理教授Saket Navlakha表示，這個模型能夠應(yīng)用于很多的感覺系統(tǒng)中，包括生成稀疏碼的嗅覺系統(tǒng)?！肝覀円呀?jīng)發(fā)現(xiàn)了許多類型的抑制性神經(jīng)元，下一步我們打算看看是否能像論文所說的一樣，將抑制性神經(jīng)元分為上述兩類?！?/p>
卡耐基梅隆大學(xué)計算機科學(xué)Ziv Bar-Joseph表示，「神經(jīng)科學(xué)在計算模型上需要考慮更多的細(xì)節(jié)，除了抑制性神經(jīng)元如何發(fā)生作用外，什么樣的蛋白質(zhì)能夠驅(qū)動它們呢？」目前，Nancy正在對神經(jīng)網(wǎng)絡(luò)進行全面性的觀察，并研究抑制神經(jīng)元的數(shù)量。而這種基于宏觀層面范圍內(nèi)的建模，相信能夠為人類帶來普適性更強的預(yù)測。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
