如何把存儲(chǔ)器做到CPU里？我們向大腦找答案

整理|網(wǎng)易科技 孟倩

特別鳴謝 部分編輯校對(duì)：

劉千惠，浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)博士生

邢東，浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)博士生

過(guò)去的十年以深度學(xué)習(xí)為代表的人工智能技術(shù)深刻影響了人類社會(huì)。但人類要進(jìn)入真正意義上的智能時(shí)代，還需要更強(qiáng)大的智能技術(shù)。而向人腦學(xué)習(xí)，借鑒人類大腦的智能產(chǎn)生機(jī)理被認(rèn)為是一條非常值得期待的道路。反過(guò)來(lái)，AI技術(shù)也在深刻改變著腦科學(xué)的研究方法。在“觀測(cè)腦”手段不斷變革的基礎(chǔ)上，AI技術(shù)為腦科學(xué)提供了越來(lái)越強(qiáng)大的分析、展示和科學(xué)發(fā)現(xiàn)手段。

2020年4月25日，青創(chuàng)聯(lián)盟發(fā)起的YOSIA Webinar特別推出了“AI+X”科學(xué)系列主題，第一期主題為AI+腦科學(xué)，主要針對(duì)人工智能與腦科學(xué)的發(fā)展以及兩者間的相互影響進(jìn)行了分享。

本次參與者有六位嘉賓，他們分別是來(lái)自浙江大學(xué)計(jì)算機(jī)學(xué)院的唐華錦教授，清華大學(xué)微納電子系教授、副系主任吳華強(qiáng)，清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系副教授胡曉林、中國(guó)科學(xué)技術(shù)大學(xué)神經(jīng)生物學(xué)與生物物理學(xué)系主任畢國(guó)強(qiáng)、北京師范大學(xué)認(rèn)知神經(jīng)科學(xué)與學(xué)習(xí)國(guó)家重點(diǎn)實(shí)驗(yàn)室畢彥超教授以及北京大學(xué)信息科學(xué)技術(shù)學(xué)院長(zhǎng)聘教授吳思。主持人為未來(lái)論壇青年理事會(huì)輪值主席、中科院計(jì)算所研究員、博士生導(dǎo)師山世光教授。

唐華錦發(fā)表了《神經(jīng)形態(tài)計(jì)算機(jī)》的主題分享，他認(rèn)為模擬大腦智能是計(jì)算機(jī)科學(xué)領(lǐng)域長(zhǎng)久以來(lái)的目標(biāo)，成為過(guò)去幾十年人工智能的發(fā)展的重要推動(dòng)力。

人工智能和腦科學(xué)在各自領(lǐng)域獨(dú)自發(fā)展，且都取得了很大突破，我們亟需以新的眼光和視角重新建立兩者的聯(lián)系，特別是從腦科學(xué)的角度探索人工智能的新思路和新方法。報(bào)告從探討神經(jīng)元－突觸為計(jì)算載體的信息處理和計(jì)算形式、記憶的形成和存儲(chǔ)，以及高級(jí)認(rèn)知的產(chǎn)生，探討基于腦科學(xué)、神經(jīng)科學(xué)的人工智能的展望。

他分享了如何來(lái)設(shè)計(jì)未來(lái)的神經(jīng)形態(tài)計(jì)算機(jī)。首先必須具備異構(gòu)的網(wǎng)絡(luò)結(jié)構(gòu)，其次包含時(shí)序動(dòng)力學(xué)的神經(jīng)元非線性，要構(gòu)建基于突觸可塑性的信用分配算法不僅實(shí)現(xiàn)模式識(shí)別這樣深度學(xué)習(xí)里面已經(jīng)非常成功應(yīng)用的各種算法，而且要實(shí)現(xiàn)學(xué)習(xí)-記憶融合的認(rèn)知計(jì)算，我們未來(lái)把大腦搬進(jìn)機(jī)箱讓它實(shí)現(xiàn)知識(shí)的表達(dá)、知識(shí)的學(xué)習(xí)、認(rèn)知以及環(huán)境的交互。

吳華強(qiáng)則進(jìn)行了《大腦啟發(fā)的存算一體技術(shù)》的分享，他提到，人工智能無(wú)處不在，從云端到我們手機(jī)端都有很多人工智能也在深刻影響我們生活。并且人工智能的研究和應(yīng)用已經(jīng)取得了突飛猛進(jìn)的發(fā)展，但是運(yùn)行人工智能深度神經(jīng)網(wǎng)絡(luò)算法的計(jì)算平臺(tái)主要是超級(jí)計(jì)算機(jī)群（成百上千個(gè)CPU和GPU）,不但需要巨大的硬件投入，而且占用的空間和消耗的能源也非?？捎^。

受限于存儲(chǔ)計(jì)算分離對(duì)芯片性能的限制，同時(shí)CMOS工藝微縮速度放緩，以及人工智能應(yīng)用對(duì)計(jì)算存儲(chǔ)需求的不斷提升，當(dāng)前的技術(shù)將面臨諸多新的挑戰(zhàn)。

因此，我們需要類腦計(jì)算、存算一體，這也是向生物找答案，向大腦找答案。用腦啟發(fā)設(shè)計(jì)新的人工智能芯片是非常必要也是急需的。

在這一背景下，新器件的出現(xiàn)變得至關(guān)重要，通過(guò)引入新原理的半導(dǎo)體器件，不但可以拓展芯片的功能，甚至可以顛覆傳統(tǒng)電路理論，突破當(dāng)前芯片面臨的能效、速度瓶頸，大幅提升芯片性能。

基于過(guò)渡族金屬氧化的憶阻器件顯示出了優(yōu)越的存算一體的特性，能夠規(guī)避存儲(chǔ)和計(jì)算之間數(shù)據(jù)搬運(yùn)的功耗并且能夠?qū)崿F(xiàn)大規(guī)模集成，進(jìn)而實(shí)現(xiàn)高性能計(jì)算。

胡曉林則從AI的發(fā)展，神經(jīng)網(wǎng)絡(luò)的發(fā)展來(lái)談如何促進(jìn)神經(jīng)科學(xué)的研究。他闡述了《神經(jīng)元稀疏發(fā)放在視聽覺通路上的作用》，受Barlow高效編碼理論的啟發(fā)，上世紀(jì)90年代人們通過(guò)計(jì)算建模的方式發(fā)現(xiàn)神經(jīng)元的稀疏發(fā)放對(duì)于哺乳動(dòng)物的視覺和聽覺系統(tǒng)的前期的信息處理機(jī)制有著重要作用，但是稀疏發(fā)放對(duì)于更上層的功能區(qū)域有什么作用一直不是很清楚。

在報(bào)告中胡教授介紹了目前他們的發(fā)現(xiàn)，通過(guò)用深度學(xué)習(xí)對(duì)腦的視聽覺通路的建模的兩個(gè)案例，建模后發(fā)現(xiàn)，高級(jí)視聽覺區(qū)域的神經(jīng)元的稀疏發(fā)放與它們的一些獨(dú)特功能有著密不可分的關(guān)系。該結(jié)果暗示高效編碼理論可能在高級(jí)感覺區(qū)域也是成立的，從而推廣了前人在感覺通路低級(jí)區(qū)域發(fā)展出來(lái)的高效編碼理論。

在問(wèn)答環(huán)節(jié)里，六位嘉賓探討了腦科學(xué)為AI提供了哪些思想、技術(shù)和方法，同時(shí)進(jìn)行了相應(yīng)的轉(zhuǎn)化，而AI也為研究腦科學(xué)提供了分析工具，并提供了更多思路。

“我們理解一個(gè)事情，我們需要能創(chuàng)造它才能做它?！睆腁I和腦科學(xué)的整體關(guān)系，是科學(xué)和工程的關(guān)系。作為正在被打開的兩個(gè)“黑箱”，二者在互相影響和碰撞，等待更大空間的研究被發(fā)現(xiàn)和釋放。

怎么樣培養(yǎng)更多的交叉學(xué)科的人才成為了重點(diǎn)討論問(wèn)題。嘉賓們認(rèn)為這是一個(gè)很大的挑戰(zhàn)，作為交叉學(xué)科的人，要對(duì)兩個(gè)學(xué)科都要有充分的把握，而這兩個(gè)學(xué)科都是很難的學(xué)科，挑戰(zhàn)很大，因此需要鼓勵(lì)青年人要真正追求自己的興趣，如果真的想研究，要花別人雙倍的力氣把這兩個(gè)學(xué)科都學(xué)好。

以下為AI+腦科學(xué)主題分享速記：

主題報(bào)告

分享一：《神經(jīng)形態(tài)計(jì)算機(jī)》—唐華錦

唐華錦，浙江大學(xué)計(jì)算機(jī)學(xué)院教授

唐華錦教授分別于浙江大學(xué)、上海交通大學(xué)完成本科和碩士學(xué)習(xí)，2005年新加坡國(guó)立大學(xué)獲得博士學(xué)位。2008-2015年于新加坡科技研究局資訊通信研究院擔(dān)任Robotic Cognition實(shí)驗(yàn)室主任，2014年起擔(dān)任四川大學(xué)類腦計(jì)算研究中心主任，目前為浙江大學(xué)計(jì)算機(jī)學(xué)院教授。主要研究領(lǐng)域?yàn)樯窠?jīng)形態(tài)計(jì)算、類腦智能芯片、智能機(jī)器人。獲2016年度IEEE TNNLS杰出論文獎(jiǎng)、2019年度IEEE Computational Intelligence Magazine杰出論文獎(jiǎng)。擔(dān)任/曾擔(dān)任IEEE TNNLS、 IEEE Trans. on Cognitive and Developmental Systems、Frontiers in Neuromorphic Engineering，Neural Networks等期刊的Associate Editor，擔(dān)任國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)（International Neural Networks Society）理事及評(píng)獎(jiǎng)委員會(huì)成員等。

唐華錦：大家好！我今天很榮幸被邀請(qǐng)來(lái)分享這樣一個(gè)主題，我的主題是以神經(jīng)形態(tài)計(jì)算機(jī)為中心來(lái)探討一些開放問(wèn)題以及對(duì)這個(gè)領(lǐng)域做一些展望。

我今天報(bào)告提綱分以下幾條：

一、首先簡(jiǎn)述計(jì)算機(jī)與大腦的區(qū)別以及大腦對(duì)開發(fā)更加新型智能計(jì)算機(jī)的啟示；

二、接著討論關(guān)于神經(jīng)形態(tài)計(jì)算機(jī)的必要組成以及介紹大腦如何完成各種計(jì)算任務(wù)的；

三、之后介紹目前算法的進(jìn)展以及硬件方面設(shè)計(jì)的成果；

四、最后提出對(duì)這個(gè)領(lǐng)域的個(gè)人的總結(jié)和展望。

計(jì)算機(jī)與大腦的區(qū)別以及大腦對(duì)開發(fā)更加新型智能計(jì)算機(jī)的啟示

大家知道，目前的計(jì)算機(jī)體系是基于馮·諾伊曼架構(gòu)，這已經(jīng)非常成功的引領(lǐng)計(jì)算機(jī)科學(xué)技術(shù)的發(fā)展幾十年。在這個(gè)計(jì)算機(jī)架構(gòu)的基礎(chǔ)上我們的深度學(xué)習(xí)在近年取得了飛速發(fā)展，在各個(gè)領(lǐng)域取得非常成功的應(yīng)用。同時(shí)，馮·諾伊曼架構(gòu)發(fā)展到現(xiàn)階段也存在一些制約，比如說(shuō)由于存在風(fēng)險(xiǎn)帶來(lái)的I/O性能的瓶頸制約以及功耗的制約，這種制約隨著大數(shù)據(jù)、深度學(xué)習(xí)為基礎(chǔ)的計(jì)算架構(gòu)帶來(lái)的擁擠會(huì)凸顯的越來(lái)越嚴(yán)重，比如大量數(shù)據(jù)讀寫嚴(yán)重降低整體效率。和大腦的計(jì)算方式相比，大腦處理的步驟非常少，但它的運(yùn)行速度非常高。其次由于突觸和神經(jīng)元同時(shí)可以做激發(fā)和存儲(chǔ)，所以不存在馮·諾伊曼架構(gòu)的I/O的吞吐帶來(lái)的瓶頸。就能耗來(lái)說(shuō)，大腦的計(jì)算能耗非常低，大致只有20W左右，所以帶來(lái)的計(jì)算效率非常高。另外非常顯著的區(qū)別，計(jì)算機(jī)實(shí)現(xiàn)的或者處理大量的實(shí)值數(shù)據(jù)，大腦神經(jīng)元處理的（或者說(shuō)編碼的）都是稀疏的事件或者神經(jīng)科學(xué)稱之為脈沖。從如何構(gòu)建一個(gè)非馮·諾伊曼體系的新型智能計(jì)算機(jī)體系，不僅是計(jì)算機(jī)科學(xué)也是我們計(jì)算機(jī)工程以及硬件芯片發(fā)展的一個(gè)重要方向。隨著新的計(jì)算體系結(jié)構(gòu)以及硬件方面的實(shí)驗(yàn)，我們預(yù)測(cè)可能帶來(lái)新一代的人工智能的算法的硬件以及架構(gòu)上的新突破。

關(guān)于神經(jīng)形態(tài)計(jì)算機(jī)的必要組成以及介紹大腦如何完成各種計(jì)算任務(wù)的

下面我從大腦主要的計(jì)算過(guò)程來(lái)解釋一下我們?nèi)绾蝸?lái)設(shè)計(jì)未來(lái)的神經(jīng)形態(tài)計(jì)算機(jī)。

第一，網(wǎng)絡(luò)結(jié)構(gòu)。生物神經(jīng)元有多種神經(jīng)元類型，這里以錐體神經(jīng)元（Pyramidal神經(jīng)元）為例，錐體神經(jīng)元是多個(gè)環(huán)節(jié)、多個(gè)部件組成的復(fù)雜的神經(jīng)元模型結(jié)構(gòu)，包括軸突的遠(yuǎn)端和近端，對(duì)生物神經(jīng)元的輸入前饋和反傳，發(fā)生在神經(jīng)元的不同部位，對(duì)于I/O來(lái)說(shuō)做了充分的簡(jiǎn)化，把它作為一個(gè)典型神經(jīng)元，沒有遠(yuǎn)端軸突和近端軸突的區(qū)別，從網(wǎng)絡(luò)結(jié)構(gòu)上來(lái)說(shuō)，大腦存在著大量稀疏的異構(gòu)的連接結(jié)構(gòu)，目前ANN主要依賴的深度網(wǎng)絡(luò)是前饋全連接的網(wǎng)絡(luò)結(jié)構(gòu)。當(dāng)然在不同的網(wǎng)絡(luò)結(jié)構(gòu)處理的實(shí)際方式也有顯著不同。基于深度網(wǎng)絡(luò)的空間算法，往往采取一個(gè)全區(qū)的優(yōu)化函數(shù)來(lái)達(dá)到最優(yōu)值來(lái)調(diào)解。而對(duì)于生物神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，由于存在大量的局部連接以及遠(yuǎn)程連接，有豐富多樣的突觸可塑性，可以更加靈活的調(diào)整神經(jīng)元之間的連接來(lái)完成對(duì)目標(biāo)函數(shù)的優(yōu)化。

第二，大腦的計(jì)算模式采用的是更加接近生物的個(gè)性的方式，比如脈沖神經(jīng)元的輸入，在人工神經(jīng)元里面不需要考慮輸入時(shí)間的特性，輸入是一個(gè)實(shí)值，典型的ReLU函數(shù)或者Sigmoid激活函數(shù)做了一個(gè)這樣的簡(jiǎn)單的非行為數(shù)據(jù)，但是對(duì)于生物神經(jīng)元來(lái)說(shuō)，它不僅采用了輸入輸出的映射，還具有四個(gè)典型的時(shí)間的非線性動(dòng)力學(xué)，一是膜電位積分，二是漏電效應(yīng)，三是不應(yīng)期，四是需要閾值來(lái)判定脈沖發(fā)放或不發(fā)放。這樣導(dǎo)致脈沖神經(jīng)元輸入脈沖編碼的不連續(xù)性，以及輸出脈沖的不連續(xù)性。這樣導(dǎo)致后面的第三個(gè)問(wèn)題就突出來(lái)，即信用分配問(wèn)題。信用分配在人工神經(jīng)網(wǎng)絡(luò)里常常說(shuō)成是優(yōu)化算法，最典型的一個(gè)優(yōu)化算法是誤差反傳，就是梯度下降算法，但是這里梯度下降算法存在一個(gè)誤差，要求前向和反向權(quán)值要完全對(duì)稱，因?yàn)槿值哪繕?biāo)函數(shù)，設(shè)定了一個(gè)這樣的網(wǎng)絡(luò)結(jié)構(gòu)，這是典型的ANN的學(xué)習(xí)模式以及處理方式。

第三，生物神經(jīng)元同樣的信用分配機(jī)制，但是采用完全不同的處理方式。神經(jīng)元之間依賴于脈沖發(fā)放時(shí)間，導(dǎo)致他們可以采用基于脈沖時(shí)間的學(xué)習(xí)方式，最典型的在神經(jīng)科學(xué)里面應(yīng)用非常廣泛的是STDP（脈沖時(shí)間依賴的突觸可塑性），基于脈沖時(shí)間前后發(fā)放的時(shí)間差來(lái)調(diào)整權(quán)值，實(shí)現(xiàn)局部的無(wú)監(jiān)督學(xué)習(xí)。此外，我們也可以考慮設(shè)計(jì)輸入脈沖和期望脈沖序列之間的序列差，來(lái)有監(jiān)督式的學(xué)習(xí)和訓(xùn)練脈沖，發(fā)放一定的脈沖。

其次依據(jù)多巴胺的神經(jīng)科學(xué)的發(fā)現(xiàn)，可以構(gòu)造這樣一個(gè)強(qiáng)化學(xué)習(xí)的脈沖實(shí)驗(yàn)網(wǎng)絡(luò)，把每個(gè)神經(jīng)元和突觸都當(dāng)做一個(gè)智能體，把發(fā)放脈沖或者不發(fā)放脈沖作為一個(gè)它的行動(dòng)，來(lái)構(gòu)成這樣一個(gè)強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)，這樣不僅實(shí)現(xiàn)更加靈活的行為，而且是生物性更加強(qiáng)的一種學(xué)習(xí)算法。

第四點(diǎn)，大腦的計(jì)算機(jī)制，重要的是學(xué)習(xí)與記憶的融合。在前饋網(wǎng)絡(luò)里，權(quán)值訓(xùn)練完之后，當(dāng)新的任務(wù)進(jìn)來(lái)，往往權(quán)值會(huì)被抹殺或者權(quán)值遺忘的作用，但是在生物神經(jīng)元里面，有大量的專門負(fù)責(zé)記憶的細(xì)胞，比如海馬體中存在各種記憶細(xì)胞，尤其是對(duì)位置細(xì)胞的編碼，對(duì)空間的感知認(rèn)知，它可以記憶熟知的場(chǎng)景，對(duì)這個(gè)空間進(jìn)行編碼。所以依據(jù)皮層-海馬等腦區(qū)，可以實(shí)現(xiàn)神經(jīng)元大腦對(duì)外部輸入的表達(dá)，學(xué)習(xí)及記憶構(gòu)成一個(gè)基于學(xué)習(xí)、基于融合的認(rèn)知計(jì)算。（圖）右側(cè)是一個(gè)對(duì)皮層以及海馬體主要微腦區(qū)的神經(jīng)電路結(jié)構(gòu)，基于這樣的電路結(jié)構(gòu)，我們可以實(shí)現(xiàn)基于海馬體的聯(lián)想記憶、持續(xù)記憶以及對(duì)空間的記憶模型。

目前算法的進(jìn)展以及硬件方面設(shè)計(jì)的成果

下面初步介紹一下我們?cè)谶@個(gè)領(lǐng)域的初步成果。因?yàn)闀r(shí)間有限，只是展示冰山一角。

對(duì)于信息的編碼，把輸入信息經(jīng)過(guò)脈沖神經(jīng)元的編碼轉(zhuǎn)變成一系列的時(shí)空脈沖信號(hào)，可以對(duì)輸入信息進(jìn)行編碼以及重構(gòu)。下圖是Nature的一篇文章，上圖是做的編碼神經(jīng)元的算法。

同時(shí)可以對(duì)新型的神經(jīng)形態(tài)視覺算法進(jìn)行脈沖編碼和表征處理，分別處理動(dòng)態(tài)的視覺信息，發(fā)表在2020年TNNLS的一篇論文上。

另外，信用分配算法可以高效的解決脈沖神經(jīng)網(wǎng)絡(luò)由于時(shí)間動(dòng)力學(xué)帶來(lái)的訓(xùn)練困難問(wèn)題，不僅在空間上進(jìn)行誤差反傳，可以同時(shí)把誤差信息傳遞到脈沖的時(shí)間信息上，經(jīng)過(guò)這樣的設(shè)計(jì)我們提出了基于脈沖簇的學(xué)習(xí)算法，不僅是可以訓(xùn)練神經(jīng)元在指定時(shí)間發(fā)放脈沖，而且是指定發(fā)放脈沖簇。

這是目前幾種典型的脈沖損失函數(shù)，各自具有一些不同的缺陷，我們改造這樣的損失函數(shù)，可以不斷的訓(xùn)練發(fā)放，訓(xùn)練這樣一個(gè)脈沖簇。它的優(yōu)點(diǎn)是能夠訓(xùn)練神經(jīng)元對(duì)復(fù)雜的時(shí)間序列的神經(jīng)元的響應(yīng)特性，左圖顯示的是雜亂無(wú)章的神經(jīng)元響應(yīng)，右側(cè)是訓(xùn)練后神經(jīng)元能夠顯示出對(duì)某些特定信號(hào)的選擇性響應(yīng)。這是一個(gè)新型的深層的脈沖網(wǎng)絡(luò)，在訓(xùn)練性能上已經(jīng)超越專門設(shè)計(jì)和訓(xùn)練的CNN的網(wǎng)絡(luò)。

學(xué)習(xí)與記憶融合，我們構(gòu)建多層的模仿多層腦區(qū)的結(jié)構(gòu)，實(shí)現(xiàn)神經(jīng)元的編碼以及監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)，同時(shí)實(shí)現(xiàn)聯(lián)想記憶和時(shí)序記憶。右側(cè)是神經(jīng)硬件電路圖，是北大黃如院士團(tuán)隊(duì)合作的FPGA硬件的記憶模型的設(shè)計(jì)和實(shí)現(xiàn)。

在感知-認(rèn)知-交互閉環(huán)上我們做了一個(gè)初步的成果，把海馬體電路搬到機(jī)器人上，通過(guò)硬件模式來(lái)實(shí)現(xiàn)機(jī)器人對(duì)空間感知、認(rèn)知交互的閉環(huán)。在Communications of ACM 2018專題介紹了這樣的工作，來(lái)解釋大腦如何幫助機(jī)器人對(duì)復(fù)雜環(huán)境空間的感知，依賴空間位置神經(jīng)元對(duì)空間的記憶以及編碼的作用。

無(wú)獨(dú)有偶，在Deepmind，今年也開展了這樣類型的工作，但與我們基于模型、大腦結(jié)構(gòu)方式的不同，Deepmind在基于學(xué)習(xí)和訓(xùn)練的網(wǎng)絡(luò)來(lái)訓(xùn)練神經(jīng)元，發(fā)放基于網(wǎng)格細(xì)胞的效應(yīng)特性，右圖展示了他們?cè)谔摂M環(huán)境下的網(wǎng)絡(luò)的效果。有興趣的朋友可以看一下論文。

在硬件實(shí)現(xiàn)上的一些成果。通過(guò)數(shù)字或者模擬集成電路可以實(shí)現(xiàn)神經(jīng)元、突觸以及各種突觸可塑性，在這個(gè)領(lǐng)域上已經(jīng)有大量的神經(jīng)形態(tài)芯片的成果，比如SpiNNaker、BrainScaleS、Truenorth、Loihi、ROLLS、清華“天機(jī)”芯片、浙大“達(dá)爾文”芯片等，都是屬于在數(shù)字模擬電路上實(shí)現(xiàn)架構(gòu)。另外，在對(duì)于未來(lái)類腦芯片的潛在突破，憶阻器及陣列，憶阻器可以分別實(shí)現(xiàn)突觸和神經(jīng)元，實(shí)現(xiàn)模擬矩陣運(yùn)算即存算一體。

下面我舉了北大楊玉超、黃如老師的工作，以及清華吳華強(qiáng)老師的工作，發(fā)布在Nature communications上，吳老師隨后會(huì)更加詳細(xì)的介紹，他們實(shí)現(xiàn)一體機(jī)的陣列來(lái)設(shè)計(jì)構(gòu)建了這樣模擬矩陣的運(yùn)算，實(shí)現(xiàn)快速的存算一體的神經(jīng)網(wǎng)絡(luò)的計(jì)算模式。

關(guān)于神經(jīng)形態(tài)計(jì)算機(jī)，我個(gè)人提出一些不太成熟的總結(jié)與展望。首先必須具備異構(gòu)的網(wǎng)絡(luò)結(jié)構(gòu)，其次包含時(shí)序動(dòng)力學(xué)的神經(jīng)元非線性。要構(gòu)建基于多種突觸可塑性的信用分配算法，不僅實(shí)現(xiàn)模式識(shí)別這樣深度學(xué)習(xí)里面已經(jīng)非常成功應(yīng)用的各種算法，而且要實(shí)現(xiàn)學(xué)習(xí)-記憶融合的認(rèn)知計(jì)算，我們未來(lái)把大腦搬進(jìn)機(jī)箱讓它實(shí)現(xiàn)知識(shí)的表達(dá)、知識(shí)的學(xué)習(xí)、認(rèn)知以及環(huán)境的交互。

分享二：《大腦啟發(fā)的存算一體技術(shù)》—吳華強(qiáng)

吳華強(qiáng) 清華大學(xué)微納電子系教授、副系主任

清華大學(xué)微納電子系，長(zhǎng)聘教授，副系主任，清華大學(xué)微納加工平臺(tái)主任，北京市未來(lái)芯片技術(shù)高精尖創(chuàng)新中心副主任。2000年畢業(yè)于清華大學(xué)材料科學(xué)與工程系和經(jīng)濟(jì)管理學(xué)院。2005年在美國(guó)康奈爾大學(xué)電子與計(jì)算機(jī)工程學(xué)院獲工學(xué)博士學(xué)位。隨后在美國(guó)AMD公司和Spansion公司任高級(jí)研究員，從事先進(jìn)非易失性存儲(chǔ)器的架構(gòu)、器件和工藝研究。2009年，加入清華大學(xué)微電子學(xué)研究所，研究領(lǐng)域?yàn)樾滦痛鎯?chǔ)器及存算一體技術(shù)，先后負(fù)責(zé)多項(xiàng)自然科學(xué)基金、863、973和重點(diǎn)研發(fā)計(jì)劃項(xiàng)目和課題。在Nature, Nature Communications, Proceedings of the IEEE等期刊和國(guó)際會(huì)議發(fā)表論文100余篇，獲得美國(guó)授權(quán)發(fā)明專利30余項(xiàng)，獲得中國(guó)授權(quán)發(fā)明專利40余項(xiàng)。

吳華強(qiáng)：今天和大家分享一下我們做的一點(diǎn)工作，題目是“大腦啟發(fā)的存算一體技術(shù)”。

我的報(bào)告將從硬件的挑戰(zhàn)，研究進(jìn)展以及展望三方面來(lái)介紹大腦啟發(fā)的存算一體技術(shù)。

人工智能無(wú)處不在，從云端到我們手機(jī)端都有很多人工智能。不同的人工智能應(yīng)用對(duì)芯片的需求是不一樣的,比如數(shù)據(jù)中心、汽車無(wú)人駕駛要求算力特別高，而智能傳感網(wǎng)、物聯(lián)網(wǎng)和手機(jī)希望耗能低，追求高能效。不同應(yīng)用對(duì)芯片的不同需求給了芯片領(lǐng)域很多機(jī)會(huì)。

人工智能的三個(gè)發(fā)展浪潮和硬件算力也有關(guān)系。從第一款神經(jīng)網(wǎng)絡(luò)Perceptron網(wǎng)絡(luò)AI開始火起來(lái)，到70年代進(jìn)入低谷，一個(gè)非常重要的因素是，雖然有很好的理論模型，但是沒有足夠的算力。后來(lái)專家系統(tǒng)出現(xiàn)，第二波浪潮又起來(lái)。這時(shí)候很多人做專門圍繞人工智能的計(jì)算機(jī)。同時(shí)代摩爾定律快速推動(dòng)芯片的發(fā)展，通用計(jì)算機(jī)的性能飛速上揚(yáng)，專業(yè)計(jì)算機(jī)能做的通用計(jì)算機(jī)也能做，因此逐漸占據(jù)市場(chǎng)，第二波浪潮又下去。第三波浪潮，深度神經(jīng)網(wǎng)絡(luò)的提出到利用GPU加速網(wǎng)絡(luò)訓(xùn)練，GPU成為AI的主要訓(xùn)練平臺(tái)。有了更大的算力，網(wǎng)絡(luò)規(guī)?？焖偬嵘?。AlphaGo Zero需要5000個(gè)TPU訓(xùn)練40天才成為地表最強(qiáng)的圍棋選手，花費(fèi)的時(shí)間還是很大的，因此人工智能的廣泛應(yīng)用需要硬件能力革新，支撐人工智能的發(fā)展。

芯片能提供的算力和人工智能的高需求是很矛盾的。第一臺(tái)計(jì)算機(jī)ENIAC出現(xiàn)在1947年，算力是每秒鐘5000次左右。英特爾2019年的CPU大約是20.8GFLOPS。我們看到它的變化是圍繞著摩爾定律，即每18個(gè)月翻一番的集成度來(lái)提升算力。但是目前AI的需求是每3.4個(gè)月翻一番。因此需要尋找新方法提供算力。

算力提升越來(lái)越困難有兩個(gè)原因，一是過(guò)去摩爾定律是把器件做的越來(lái)越小，現(xiàn)在器件尺寸縮小已經(jīng)接近物理極限了，所以摩爾定律逐漸失效。二是傳統(tǒng)計(jì)算架構(gòu)發(fā)展帶來(lái)的性能提升日趨緩慢?，F(xiàn)代計(jì)算系統(tǒng)普遍采用信息存儲(chǔ)和運(yùn)算分離的馮諾依曼架構(gòu)，其運(yùn)算性能受到數(shù)據(jù)存儲(chǔ)速度和傳輸速度的限制。具體來(lái)說(shuō)，CPU的計(jì)算速度小于1納秒，但是主存DRAM是百納秒左右，也就是存儲(chǔ)的速度遠(yuǎn)遠(yuǎn)低于計(jì)算速度。在能耗上，以TSMC45納米的工藝為例，加減乘小于一個(gè)pJ，但是32位DRAM的讀要高達(dá)640個(gè)pJ，這一比也是百倍的差距。因此存儲(chǔ)速度遠(yuǎn)遠(yuǎn)低于CPU的速度，而存儲(chǔ)的功耗也遠(yuǎn)遠(yuǎn)高于CPU的功耗。這還沒有講存儲(chǔ)的寫，寫的功耗會(huì)更高。這樣整個(gè)系統(tǒng)的性能受到數(shù)據(jù)存儲(chǔ)速度和傳輸速度的限制，能耗也因?yàn)榇鎯?chǔ)讀的功耗和寫的功耗很大，導(dǎo)致整個(gè)系統(tǒng)功耗都很大。

現(xiàn)在可以看到很多新的計(jì)算出來(lái)了，量子計(jì)算、光計(jì)算、類腦計(jì)算、存算一體。所以當(dāng)我們要思考未來(lái)的計(jì)算時(shí)，我自己覺得量子計(jì)算、光計(jì)算是向物理找答案，類腦計(jì)算、存算一體是向生物找答案，也就是向大腦找答案。

著名的人機(jī)大戰(zhàn)，人工智能選手AlphaGo用了176個(gè)GPU、1202個(gè)CPU，功耗是150000W。而我們大腦體積大概1.2L，有1011個(gè)神經(jīng)元，1015個(gè)突觸，思考的時(shí)候功耗是20W。大腦的功耗這么少，這么聰明，這里面還有這么大容量的神經(jīng)元、突觸。所以我們希望用腦啟發(fā)設(shè)計(jì)新的人工智能芯片。

我們想通過(guò)向生物學(xué)家學(xué)習(xí)、向神經(jīng)學(xué)家學(xué)習(xí)，來(lái)看看大腦是如何處理計(jì)算的。大腦有幾個(gè)特點(diǎn)，一個(gè)是有大量的神經(jīng)元連接性，以及神經(jīng)元加突觸的結(jié)構(gòu)，一個(gè)神經(jīng)元將近連接了1萬(wàn)個(gè)突觸。第二個(gè)它的時(shí)空信息的編碼方式是用脈沖的方式。我們希望模仿大腦的結(jié)構(gòu)和工作機(jī)制，用脈沖編碼的形式來(lái)輸入輸出。

生物突觸是信息存儲(chǔ)也是信息處理的最底層的生物器件。我們想在芯片上做電子突觸新器件，做存算一體的架構(gòu)。新器件方面我們主要研究的是憶阻器，它的特點(diǎn)是可以多比特，同時(shí)非易失，即把電去掉以后可以保持這個(gè)阻值，并且它速度很快。還有很關(guān)鍵的一點(diǎn)，它和集成電路的CMOS工藝是兼容的，可以做大規(guī)模集成。近十年我們一直圍繞這個(gè)器件來(lái)做其優(yōu)化和計(jì)算功能。

美國(guó)DARPA的FRANC項(xiàng)目提出用模擬信號(hào)處理方式來(lái)超越傳統(tǒng)的馮·諾依曼計(jì)算架構(gòu)，希望帶來(lái)計(jì)算性能系統(tǒng)的增加。任正非在2019年接受采訪時(shí)說(shuō)，未來(lái)在邊緣計(jì)算不是把CPU做到存儲(chǔ)器里，就是把存儲(chǔ)器做到CPU里，這就改變了馮·諾依曼結(jié)構(gòu)，存儲(chǔ)計(jì)算合而為一，速度快。阿里2020年的十大科技趨勢(shì)里提到計(jì)算存儲(chǔ)一體化，希望通過(guò)存算一體的架構(gòu)，突破AI算力瓶頸。存算一體的理念也是受大腦計(jì)算方式啟發(fā)的。

基于憶阻器的存算一體技術(shù)可以分為三個(gè)階段：第一個(gè)階段是單個(gè)器件的發(fā)展階段。2008年惠普實(shí)驗(yàn)室的Stan William教授首次在實(shí)驗(yàn)室制備了憶阻器，之后美國(guó)密西根大學(xué)的盧偉教授提出了電子突觸概念，美國(guó)UCSB大學(xué)的謝源教授提出了基于憶阻器的PRIME存算一體架構(gòu)，引起廣泛關(guān)注。第二個(gè)階段開始做陣列，2015年UCSB在12×12的陣列上演示了三個(gè)字母的識(shí)別，我們團(tuán)隊(duì)2017年在128×8的陣列上演示了三個(gè)人臉的識(shí)別，準(zhǔn)確率能夠大于95%，同時(shí)期還有IBM，UMass和HP等研究團(tuán)隊(duì)實(shí)驗(yàn)實(shí)現(xiàn)了在陣列上的存算一體；第三個(gè)階段是存算一體芯片，我們以芯片設(shè)計(jì)領(lǐng)域的頂會(huì)ISSCC上近幾年發(fā)表的文章為例，2018年松下展示了多層感知機(jī)的宏電路，2019年臺(tái)灣地區(qū)新竹清華大學(xué)和臺(tái)積電聯(lián)合演示了卷積核計(jì)算的宏電路，今年清華和斯坦福合作做的限制玻耳茲曼機(jī)宏電路。也是今年我們清華團(tuán)隊(duì)完成的一個(gè)全系統(tǒng)集成的完整的存算一體芯片，從系統(tǒng)測(cè)試結(jié)果來(lái)看，這個(gè)芯片能效高達(dá)78.4TOPs/W，是相當(dāng)高的。我們還做了一個(gè)對(duì)比，一個(gè)是存算一體的芯片和系統(tǒng)，一個(gè)是用了樹莓派28納米的CPU。我們的芯片跑完一萬(wàn)張圖片是3秒，而他們是59秒，我們的速度要快很多，準(zhǔn)確率卻相當(dāng)。

今年1月我們?cè)贜ature上發(fā)表了一個(gè)憶阻器存算一體系統(tǒng)的工作。這個(gè)工作主要是把多個(gè)陣列放在一起組成一個(gè)系統(tǒng)，并驗(yàn)證是否能用作模擬計(jì)算來(lái)實(shí)現(xiàn)AI的工作。我們提出新型混合訓(xùn)練算法，實(shí)現(xiàn)了與軟件相當(dāng)?shù)挠?jì)算精度。還提出了新型卷積空間并行架構(gòu),成倍提升了系統(tǒng)處理速度。

為什么憶阻器存算一體適合人工智能呢？因?yàn)榻徊骊嚵薪Y(jié)構(gòu)特別適合快速矩陣向量乘法。存算一體可以減少權(quán)重搬移帶來(lái)的功耗和延時(shí)，有效地解決目前算力的瓶頸。另外，人工智能更關(guān)注系統(tǒng)準(zhǔn)確性，而不是每個(gè)器件的精度，這特別符合憶阻器和模擬計(jì)算的特點(diǎn)。

我們還和畢國(guó)強(qiáng)老師合作了一篇綜述文章。利用腦啟發(fā)來(lái)設(shè)計(jì)人工智能芯片，我們把大腦從I/O通道，到突觸，神經(jīng)元，到神經(jīng)環(huán)路，到整個(gè)大腦的結(jié)構(gòu)，都和電子器件做了對(duì)比。文章題目叫《Bridging Biological and Artificial Neural Networks》，發(fā)表在2019年的Advanced Materials上面，如果大家感興趣可以讀這個(gè)文章。

展望未來(lái)，希望能夠做一個(gè)存算一體的計(jì)算機(jī)系統(tǒng)。以前是晶體管加布爾邏輯加馮·諾依曼架構(gòu)，現(xiàn)在是模擬型憶阻器加模擬計(jì)算和存算一體的非馮架構(gòu)。

人工智能無(wú)處不在，從云端到我們手機(jī)端都有很多人工智能也在深刻影響我們生活，前幾天聽說(shuō)谷歌用人工智能預(yù)測(cè)天氣預(yù)報(bào)，比過(guò)去物理模型做的好很多，所以說(shuō)人工智能的應(yīng)用會(huì)越來(lái)越廣泛。

我們看看不同的人工智能的應(yīng)用對(duì)芯片需求是不一樣的。數(shù)據(jù)中心的需求就是要求算力特別高，比如說(shuō)GPU，芯片算力有多少個(gè)TOPs，功耗比較高，但是它的算力很大，比如汽車無(wú)人駕駛也是大芯片，算力很高。智能的傳感網(wǎng)、物聯(lián)網(wǎng)和我們手機(jī)都是用電池的，這種情況下希望耗能特別低，這時(shí)候就追求高能效，比如1W到幾十個(gè)TOPs等等，甚至更高，所以不同的應(yīng)用對(duì)需求不一樣，這也給了我們芯片領(lǐng)域很多機(jī)會(huì)，不管是瞄準(zhǔn)數(shù)據(jù)中心服務(wù)器的還是智能終端的。

人工智能有三個(gè)浪潮，我主要從三個(gè)浪潮和硬件算力的關(guān)系來(lái)說(shuō)。1956年，達(dá)特茅斯開AI夏季研討會(huì)，1957年Rosenblatt發(fā)明了第一款神經(jīng)網(wǎng)絡(luò)Perceptron，后來(lái)AI就非常火，大家發(fā)現(xiàn)這個(gè)有用。到了70年代，后來(lái)就出現(xiàn)一些問(wèn)題，進(jìn)入了低谷，這里面有一個(gè)非常重要的因素，雖然理論模型很好，但是缺的算力很多，沒有足夠算力是不行的，那時(shí)候芯片的算力只有1M的OPs，其實(shí)跟現(xiàn)在比差了很多，所以1到10M OPs的芯片算力很難支撐序列的復(fù)雜任務(wù)。到后來(lái)專家系統(tǒng)出現(xiàn)，專家系統(tǒng)能回答很多問(wèn)題，第二波浪潮又起來(lái)，這時(shí)候很多人做專門圍繞人工智能的計(jì)算機(jī)，這時(shí)候從操作系統(tǒng)上、指令集上等等做了一些設(shè)計(jì)，那時(shí)候摩爾定律快速推動(dòng)芯片的發(fā)展，通用計(jì)算機(jī)的性能飛速上揚(yáng)，很多事情專業(yè)計(jì)算機(jī)做的事情，通用計(jì)算機(jī)也能做，這時(shí)候通用計(jì)算機(jī)性能飛速上揚(yáng)，逐漸占據(jù)了市場(chǎng)。第二波浪潮下去了。第三波浪潮，2006年Hilton提出深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，到2015年Alex提出利用GPU加速網(wǎng)絡(luò)訓(xùn)練，獲得了當(dāng)年ISV計(jì)算冠軍，GPU就成為AI的主要訓(xùn)練平臺(tái)，網(wǎng)絡(luò)規(guī)模快速提升，我們可以看到后來(lái)一些專用的硬件，比如谷歌開發(fā)的APU，包括計(jì)算所的“寒武紀(jì)”等等，都是新型的硬件架構(gòu)開始走上了舞臺(tái)。我們看看AlphaGo的Zero需要5000個(gè)TPU訓(xùn)40天才成為地表的圍棋，還是要花很大時(shí)間訓(xùn)練的，對(duì)他算力的趨勢(shì)很大，我們也希望硬件能力革新，能夠支撐發(fā)展。

這張表是我們團(tuán)隊(duì)基于英特爾的一個(gè)表又重新制作的表。計(jì)算機(jī)在四幾年的時(shí)候，ENIAC，這個(gè)計(jì)算機(jī)當(dāng)時(shí)的算力是每秒鐘5000次左右，5000是加法，400是乘法?，F(xiàn)在英特爾的CPU，20.8的GFLOPS，這是2019年的。我們看到它的變成，從ENIAC，到英特爾的386、486，到奔騰，到英特爾Croe，它是圍繞著摩爾定律，每18個(gè)月翻一番的集成度來(lái)提升算力。當(dāng)芯片功耗比較高就調(diào)整為多核，開始進(jìn)入換變期。其實(shí)中間還有Nvida的GPU，GPU比CPU搞一個(gè)數(shù)量級(jí)。但是我們AI的需求，可以看到在這之后每三年四個(gè)月翻一番目前，AlphaGo Zero在這個(gè)地方，可以看到芯片能夠提供的算力和人工智能的高需求是很矛盾的，所以需要尋找新方法提供算力。

芯片來(lái)講算力提升越來(lái)越困難。有兩個(gè)原因。（圖）這個(gè)圖展示80年代到現(xiàn)在的性能表，是J·Hennessy和D.Patterson的文章里講的，目前來(lái)講每年的算力提升3%左右。兩個(gè)原因，一是過(guò)去摩爾定律是把器件做的越來(lái)越小，現(xiàn)在器件尺寸縮小已經(jīng)接近物理極限了，所以摩爾定律變換了。二是傳統(tǒng)的計(jì)算，存儲(chǔ)計(jì)算分子架構(gòu)帶來(lái)的性能提升日趨緩慢。

摩爾定律變緩。在2019年我們集成電路的量產(chǎn)工藝是7納米，今年說(shuō)是要5納米、現(xiàn)在3納米也看到了機(jī)會(huì)。再往下很難做，原因就是說(shuō)我們現(xiàn)在原則執(zhí)行一個(gè)納米左右，再往下做很多量子效應(yīng)是很難控制的。晶體管尺寸存在物理極限，不可能無(wú)限的縮小，所以傳統(tǒng)的不斷縮小器件尺寸的方式已經(jīng)很難往下走了。

存儲(chǔ)墻的瓶頸。馮·諾伊曼架構(gòu)因?yàn)榇鎯?chǔ)、計(jì)算分離，1946年提出馮·諾伊曼架構(gòu)，處理器分離，處理器專門做計(jì)算，算完之后通過(guò)總線把數(shù)據(jù)放到存儲(chǔ)器，需要數(shù)據(jù)從存儲(chǔ)器再提取數(shù)據(jù)，通過(guò)總線傳到處理器來(lái)，這種存算分離架構(gòu)在設(shè)計(jì)上非常清晰，也助推了過(guò)去70年的計(jì)算機(jī)系統(tǒng)的發(fā)展。但現(xiàn)在受到一個(gè)很大的挑戰(zhàn)，我們看右邊的表，CPU的計(jì)算速度小于1納秒，但是我們主存DRAM是百納秒左右，這方面存儲(chǔ)的速度遠(yuǎn)遠(yuǎn)低于計(jì)算速度，差100倍，存儲(chǔ)就拉后腿了。最右邊的圖是能耗圖，TSMC45納米的工藝，可以看到加減乘，其實(shí)也就小于一個(gè)PCR左右，但是32位DRAM的讀要高達(dá)640個(gè)PCR，這一比也是百倍的差距。所以看到存儲(chǔ)速度遠(yuǎn)遠(yuǎn)低于CPU的速度，它的功耗也遠(yuǎn)遠(yuǎn)它的功耗。而且還沒有講存儲(chǔ)的寫，寫的功耗更高。這樣整個(gè)系統(tǒng)的性能受到數(shù)據(jù)存儲(chǔ)速度、傳輸速度的限制，能耗也因?yàn)榇鎯?chǔ)讀的功耗、寫的功耗很大，導(dǎo)致整個(gè)系統(tǒng)功耗很大。

向大腦找答案

所以我們講人工智能時(shí)代我們要思考未來(lái)的計(jì)算，剛剛唐老師也做了很好的總結(jié)，現(xiàn)在可以看到很多新的計(jì)算出來(lái)了，量子計(jì)算、光計(jì)算、類腦計(jì)算、存算一體。我自己覺得量子計(jì)算、光計(jì)算是向物理找答案，類腦計(jì)算、存算一體是向生物找答案，也就是向大腦找答案。

我們來(lái)對(duì)比，我們知道人工智能讓我們大家很感興趣，著名的故事AlphaGo和李世石、柯潔大戰(zhàn)，一個(gè)是2016年3月份，一個(gè)是2017年4月份，最后李世石和柯潔都輸了。我們看到AlphaGo用了176GPU、用了1000多個(gè)CPU，又把TPU又加上了，它的功耗是150000W，我們大腦體積大概1.2L，有11的11次的神經(jīng)元，10的15次方個(gè)突觸，而且在思考的時(shí)候功耗是20W，這是非常奇妙的。大腦的功耗這么少，這么聰明，這里面還有這么容量計(jì)算的神經(jīng)元、突觸。所以我們希望用腦啟發(fā)設(shè)計(jì)新的人工智能芯片是非常必要也是急需的。

我們看一看大腦從微觀到宏觀尺度。（圖）我們從電子信息的角度、芯片角度來(lái)看這個(gè)問(wèn)題。以視覺系統(tǒng)來(lái)看，視覺信息處理前面眼睛傳感，視網(wǎng)膜是各種各樣的細(xì)胞結(jié)構(gòu)。后面還有對(duì)比視覺信息的處理。這是大腦和神經(jīng)環(huán)路的結(jié)構(gòu)。還有很多神經(jīng)元，軸突和另外一個(gè)神經(jīng)元的樹突形成了一個(gè)突觸。仔細(xì)看突觸，軸突過(guò)來(lái)，這是樹突接收的地方，然后發(fā)現(xiàn)很多離子通道，離子通道也很關(guān)鍵的，是很重要的機(jī)理。從結(jié)構(gòu)上來(lái)看，最底層是離子通道，形成了突觸，這個(gè)有突觸，這邊有神經(jīng)元，再往上有神經(jīng)環(huán)路，腦網(wǎng)絡(luò)。從微觀到宏觀尺度，怎么反映到芯片里面？怎么反映到Brain Spike Cumputng里面去，這是我們需要思考的問(wèn)題。

把神經(jīng)元放大里面，這是它的軸突、樹突，這是另外一個(gè)神經(jīng)元，它的軸突和樹突交接的地方就是Steps。動(dòng)作電位是神經(jīng)傳導(dǎo)的勝利基礎(chǔ)，例子通過(guò)通道移動(dòng)之后會(huì)引起離子膜電位的變化，膜電位的變化介導(dǎo)神經(jīng)信號(hào)的傳導(dǎo)。我覺得這里面還有好多可以學(xué)習(xí)的，我今天會(huì)簡(jiǎn)單提一句我們另外的工作，也是樹突上面的一些計(jì)算功能。

類腦計(jì)算。大腦有很多奇妙的地方，我們想通過(guò)向生物學(xué)家學(xué)習(xí)、向神經(jīng)學(xué)家學(xué)習(xí)看看大腦怎么計(jì)算。大腦有幾個(gè)特點(diǎn)，有大量的神經(jīng)元連接性的突觸，神經(jīng)元加突觸的結(jié)構(gòu)，一個(gè)神經(jīng)元將近1萬(wàn)個(gè)突觸。另外它的時(shí)空信息的編碼方式是用Spike的方式，Spike之間的間距來(lái)看，我們把這些轉(zhuǎn)移Spike過(guò)來(lái)，在一個(gè)神經(jīng)網(wǎng)絡(luò)里面不管是積分也好，還是非線性處理也好，我們希望模仿大腦的結(jié)構(gòu)和工作機(jī)制，也就是說(shuō)我用脈沖編碼的形式來(lái)輸入輸出，編碼方式和現(xiàn)在的數(shù)據(jù)上的輸入是不一樣的，剛才唐老師也介紹了這方面的工作。

突觸這個(gè)地方，生物突觸是既儲(chǔ)存了信息，I/O通道的情況會(huì)對(duì)突觸的大小有影響。另外，它的膜電位在這個(gè)地方也進(jìn)行了信息處理，我們認(rèn)為突觸結(jié)構(gòu)本身是信息的存儲(chǔ)也是信息處理的最底層的生物器件。我們能不能在芯片方面做同樣的事情，我們做電子突觸新器件，我們做存算一體的架構(gòu)，我們改變我們的馮·諾伊曼架構(gòu)，存儲(chǔ)計(jì)算分離架構(gòu)變成存算一體架構(gòu)，這時(shí)候新器件我們主要做憶阻器，憶阻器這個(gè)器件還是比較簡(jiǎn)單的，因?yàn)樘珡?fù)雜的器件集成度上不去。大腦有千萬(wàn)億個(gè)突觸，我們比它少一點(diǎn)也得是多少億以上才行，我們器件很小，很簡(jiǎn)單，上電極、下電極，中間是介質(zhì)層。這期間通過(guò)里面氧離子的運(yùn)動(dòng)，讓我們這個(gè)器械的組織可變，這是在持久電壓下的情況。它有個(gè)特點(diǎn)，可以多比特，這個(gè)器件可以1歐姆可以是2歐姆，可以是3歐姆，可以在不同的組織停下來(lái)。同時(shí)這個(gè)組織是非易失的，把電去掉以后，它保持這個(gè)組織，它速度很快，多少納秒之后就行了。還有很關(guān)鍵的一點(diǎn)，它和集成電路的工藝很多是兼容的，也就是CMOS compatible，可以做大規(guī)模集成，這是這個(gè)器件的特點(diǎn)，我們主要圍繞這個(gè)器件，近十年一直做它的優(yōu)化和在它的上面做計(jì)算功能。什么叫新型計(jì)算范式呢？在人工智能算法里面有很多向量乘矩陣、矩陣乘矩陣，如果把向量X1、X2、XM，轉(zhuǎn)化成器件的交叉陣列，垂直上電極，中間黃的是介質(zhì)層，在這種情況下，如果把X1到XM轉(zhuǎn)化到電壓的V1、V2到VM，這樣我把這邊G11參數(shù)轉(zhuǎn)化為器件的電導(dǎo)，電壓乘以電導(dǎo)就得到電流，這是歐姆定律，定流累計(jì)相加就得到了總和電流，這是加法。也就是說(shuō)我們現(xiàn)在的計(jì)算是基于物理定律的計(jì)算，這是用完成矩陣乘積的計(jì)算。

存算一體美國(guó)DAPPA的FRANC項(xiàng)目，美國(guó)的ERI“電子復(fù)興計(jì)劃”里面提的FRANC項(xiàng)目，他們提出用模擬信號(hào)處理方式來(lái)超越傳統(tǒng)的馮·諾伊曼計(jì)算架構(gòu)的創(chuàng)新，希望帶來(lái)計(jì)算性能系統(tǒng)的增加。

任正非在2019年4月接受美國(guó)采訪時(shí)說(shuō)華為未來(lái)一方面做連接做5G，在邊緣計(jì)算上做到世界最好，未來(lái)在邊緣計(jì)算不是把CPU做到存儲(chǔ)器，就是把存儲(chǔ)器做到CPU里面，就改變了馮·諾伊曼結(jié)構(gòu)，存儲(chǔ)計(jì)算合而為一速度快，他們也在做這個(gè)事情。

阿里2020年講十大科技趨勢(shì)，趨勢(shì)二里面就說(shuō)，計(jì)算存儲(chǔ)一體化，通過(guò)AI算力評(píng)級(jí)?？梢哉f(shuō)采用存算一體的架構(gòu)，應(yīng)該說(shuō)是非常大的突破，我們也希望能夠突破AI算力瓶頸。存算一體的理念也是受大腦計(jì)算方式啟發(fā)的。

數(shù)字芯片，它的技術(shù)路線由過(guò)去的CPU、GPU，也有谷歌TPU，它是用近存計(jì)算來(lái)做的，還有存算一體處理器等等。

我們的存算一體處理器，我把它三個(gè)階段，單位個(gè)器件的發(fā)展階段，惠普的Stan Villiam，在2008年首次在實(shí)驗(yàn)室制備了憶阻器，之后密歇根大學(xué)的盧偉教授提出電子突觸概念，之后華人教授加州大學(xué)的謝源教授提出PRIME存算一體架構(gòu)，謝源教授現(xiàn)在在阿里巴巴。

第二個(gè)階段，做完器械之后開始做陣列，2015年UCSB的Barbaro Dimitri（音）教授在12×12的陣列上，也是三個(gè)字母，Z、V和M三個(gè)字母識(shí)別，我們2017年在128×8的陣列上，演示了三個(gè)人臉識(shí)別工作，準(zhǔn)確率能夠大于95%，比CPU+外存儲(chǔ)器高一千倍左右。還包括密歇根大學(xué)的稀疏編碼，惠普和麻省大學(xué)在8K上的MNIST數(shù)據(jù)集，IBM做的結(jié)合相變存儲(chǔ)器和GT1C單元演示前夕學(xué)習(xí)，這是他們2018年做的工作。2015年到2018年是國(guó)際上多個(gè)團(tuán)隊(duì)存算一體的陣列工作。

第三個(gè)階段是存算一體芯片，芯片可以更好地反映trade-off，松下的宏電路多層感知機(jī)，包括新竹清華大學(xué)和臺(tái)積電的卷積核計(jì)算，ISSCC上面，這是芯片里面最高的會(huì)議了。今年我們和斯坦福合作做了宏電路限制玻耳茲曼機(jī)，同時(shí)我們獨(dú)立完成了一個(gè)全系統(tǒng)集成的完整的存算一體芯片，也是一個(gè)多層感知機(jī)。跟它合作的是宏電路，我們這是一個(gè)完整的芯片。這個(gè)芯片我們從實(shí)際系統(tǒng)測(cè)試結(jié)果來(lái)看能達(dá)到78.4TOPs/W，還是相當(dāng)高的。而且現(xiàn)在的工藝是130納米，我們做了兩個(gè)系統(tǒng)對(duì)比，左邊是存算一體的芯片和系統(tǒng)，右邊是用了樹莓派28納米的CPU，可以看到我們的速度，跑完一萬(wàn)張圖片是3秒，他們是59秒，速度要快很多。準(zhǔn)確率相當(dāng)，能效比它高幾百倍，同時(shí)有完整的芯片可以深入的分析各種模塊的性能。

今年1月我們?cè)贜ature上發(fā)了文章，這個(gè)工作主要是我們把多個(gè)陣列放在一起組成一個(gè)系統(tǒng)，陣列和陣列之間怎么傳數(shù)據(jù)，我們來(lái)驗(yàn)證是否能夠用模擬計(jì)算實(shí)現(xiàn)一些AI的工作，我們提了新型的混合訓(xùn)練算法，也提出了新型卷積空間并行架構(gòu)。

為什么憶阻器存算一體適合人工智能呢？因?yàn)榻徊骊嚵薪Y(jié)構(gòu)特別適合快速矩陣向量乘法。存算一體的器件特性可以減少權(quán)重搬移帶來(lái)的功耗和延時(shí)，有效地解決目前算力的瓶頸。另外，我們覺得人工智能是一個(gè)更關(guān)注系統(tǒng)組織性，而不是關(guān)注每個(gè)器件的精度，這特別符合憶阻器和模擬計(jì)算的特點(diǎn)，這是我們的認(rèn)識(shí)。

最后講講我們最近的工作，最近神經(jīng)科學(xué)界發(fā)現(xiàn)樹突不僅僅是傳輸數(shù)據(jù)的功能，也有濾波和積分的作用，它在空間和時(shí)間上都可以對(duì)一些信號(hào)進(jìn)行處理，也就是不是說(shuō)的信號(hào)，不是縮短信號(hào)，從突觸通過(guò)樹突傳到胞體，而是有很多信號(hào)在樹突被過(guò)濾掉，我們希望把樹突的概念引入到我們的神經(jīng)元的結(jié)構(gòu)里面去，我們相信這種結(jié)構(gòu)可能會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)的性能尤其能效大幅度提高。我們做了一個(gè)器件，我們整理了一下突觸、樹突和胞體不同的功能，我們還搭了一個(gè)系統(tǒng)，樹突和胞體連在一起，我們也做了工作，這個(gè)工作已經(jīng)被接收，希望盡快能發(fā)表出來(lái)。我們發(fā)現(xiàn)動(dòng)態(tài)功耗能降低30倍左右，而且準(zhǔn)確率還能提高。我們后來(lái)覺得注意力等等是不是也和樹突也有關(guān)系。

總的來(lái)說(shuō)，腦啟發(fā)來(lái)設(shè)計(jì)人工智能芯片，我們寫了一篇綜述文章和畢國(guó)強(qiáng)老師合作，在去年Adv.Mater發(fā)表了將近30頁(yè)的綜述文章，大家感興趣可以看一看。我們把大腦從I/O通道，到Synapses Neuro，到神經(jīng)環(huán)路，到整個(gè)大腦的結(jié)構(gòu)，我們和電子器件做了對(duì)比，文章題目叫《Bridging Biological and Artificial Neural Networks》，如果大家感興趣可以讀這個(gè)文章。

展望未來(lái)，希望也能夠做一個(gè)存算一體的計(jì)算機(jī)系統(tǒng)，跟以前比，以前是晶體管加布爾邏輯加馮·諾伊曼架構(gòu)，現(xiàn)在是模擬憶阻器加模擬計(jì)算和存算一體的架構(gòu)，同樣我們需要編譯器、指令集等等，還有面向模擬計(jì)算的算法等等，上面的應(yīng)用就不用太多變化。

分享三：《神經(jīng)元稀疏發(fā)放在視聽覺通路上的作用》

胡曉林 清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系副教授

2007年在香港中文大學(xué)獲得自動(dòng)化與輔助工程專業(yè)博士學(xué)位，然后在清華大學(xué)計(jì)算機(jī)系從事博士后研究，2009年留校任教至今。他的研究領(lǐng)域包括人工神經(jīng)網(wǎng)絡(luò)和計(jì)算神經(jīng)科學(xué)，主要興趣包括開發(fā)受腦啟發(fā)的計(jì)算模型和揭示大腦處理視聽覺信息的機(jī)制。在IEEE Transactions on Neural Networks and Learning Systems, IEEE Transactions on Image Processing, IEEE Transactions on Cybernetics, PLoS Computational Biology, Neural Computation, European Journal of Neuroscience, Journal of Neurophysiology, Frontiers in Human Neuroscience, Frontiers in Computational Neuroscience等國(guó)際期刊和CVPR, NIPS, AAAI等國(guó)際會(huì)議上發(fā)表論文80余篇。他目前是IEEE Transactions on Image Processing和Cognitive Neurodynamics的編委，曾擔(dān)任IEEE Transactions on Neural Networks and Learning Systems的編委。

胡曉林：各位嘉賓好，各位在線朋友們好！非常榮幸今天有機(jī)會(huì)和大家交流，今天我分享的主題和前面兩位嘉賓分享的正好相反，前面兩位嘉賓講的都是我們神經(jīng)科學(xué)怎么樣啟發(fā)做新的器件，因?yàn)檫@個(gè)主題是AI和腦科學(xué)的交互，我來(lái)講另外一個(gè)方面的工作，就是AI的發(fā)展，神經(jīng)網(wǎng)絡(luò)的發(fā)展，怎么樣促進(jìn)神經(jīng)科學(xué)的研究。

我對(duì)神經(jīng)科學(xué)和AI方面都比較感興趣，兩方面的工作都在做。今天主要是講從AI到BI這方面的兩個(gè)小工作。我今天介紹的內(nèi)容和前兩位嘉賓有點(diǎn)不同，前兩位嘉賓講的都是非常宏大，我今天只是介紹兩個(gè)點(diǎn)上的工作。

神經(jīng)網(wǎng)絡(luò)和神經(jīng)科學(xué)與大腦視覺皮層是有一定關(guān)聯(lián)的

首先看一下背景。左邊是視覺系統(tǒng)大致的通路，信息從視網(wǎng)膜到LGN到腦皮層。中間是聽覺皮層，也是一個(gè)層次化結(jié)構(gòu)，信息從耳蝸一直傳到聽覺皮層。右邊是典型的神經(jīng)網(wǎng)絡(luò)。從圖上可以看到，至少我們現(xiàn)在的神經(jīng)網(wǎng)絡(luò)和視覺、聽覺系統(tǒng)有一定的相似性，至少是層次化的結(jié)構(gòu)?；谶@種相似性是不是可以利用現(xiàn)在神經(jīng)網(wǎng)絡(luò)的飛速發(fā)展來(lái)促進(jìn)神經(jīng)科學(xué)的研究，促進(jìn)我們對(duì)大腦的視覺、聽覺或者其他感覺皮層工作機(jī)制的理解呢？這是我們今天要重點(diǎn)討論的問(wèn)題。

這個(gè)方面的工作，比較早期的一個(gè)工作，是2014年MIT的教授他們做的一個(gè)工作，他們用一個(gè)神經(jīng)網(wǎng)絡(luò)，一個(gè)CNN去訓(xùn)練了一個(gè)圖片分類的模型，然后同樣的圖片給猴子看，可以記錄猴子不同的視覺區(qū)域，比方說(shuō)V4和IT兩個(gè)區(qū)域神經(jīng)元的發(fā)放，最后去比較神經(jīng)網(wǎng)絡(luò)不同層和猴子的不同皮層V4和IT這兩個(gè)區(qū)域神經(jīng)元的相關(guān)性。發(fā)現(xiàn)不同神經(jīng)網(wǎng)絡(luò)層的神經(jīng)元反應(yīng)的特點(diǎn)正好對(duì)應(yīng)猴子IT、V4區(qū)域反應(yīng)的特點(diǎn)。這是第一次證明神經(jīng)網(wǎng)絡(luò)和神經(jīng)科學(xué)和大腦視覺皮層是有一定關(guān)聯(lián)的。

這是一個(gè)神經(jīng)科學(xué)的發(fā)現(xiàn)，我們先簡(jiǎn)單介紹一下這個(gè)神經(jīng)科學(xué)發(fā)現(xiàn)，然后對(duì)比一下。這是2013年紐約大學(xué)的一個(gè)工作，他們做了一個(gè)實(shí)驗(yàn)，讓猴子和人去看兩種不同的圖片，這是從原來(lái)的自然圖片通過(guò)算法合成的兩種不同的圖片，中間的比較像自然圖片，右邊是噪聲圖片，不完全是噪聲，是從自然圖片合成的噪聲。然后給猴子這兩類圖片，NT是中間那一列，SN是右側(cè)一列，V1區(qū)域記錄猴子的發(fā)放，發(fā)現(xiàn)V1的神經(jīng)元對(duì)這兩類圖片的反應(yīng)差不多，基本上分不開。但是到V2神經(jīng)元對(duì)于NT一類的圖片反應(yīng)高一些，對(duì)于SN類的圖片反應(yīng)低一些，也就是在V2有一個(gè)區(qū)分。他們定義了Index，一個(gè)神經(jīng)元的Index如果越高，就說(shuō)明這個(gè)神經(jīng)元越喜歡比較上面的圖片，那個(gè)圖片從數(shù)學(xué)定義上來(lái)講是含有高階統(tǒng)計(jì)特性的圖片，時(shí)間關(guān)系，不展開講它具體的數(shù)學(xué)定義，什么叫含有高階統(tǒng)計(jì)特性。總而言之V1區(qū)域，所有的神經(jīng)元的Modulation Index都集中在0附近，在0左右對(duì)稱。在V2，大部分神經(jīng)元的Modulation Index都是正的，也就是大部分的神經(jīng)元都是喜歡這種比較像自然圖片的圖片。

2015年的時(shí)候日本的一個(gè)研究小組在另外一個(gè)區(qū)域，就是猴子的V4區(qū)域，他們發(fā)現(xiàn)了同樣的結(jié)論。V4的神經(jīng)元相對(duì)V1來(lái)講，他們更喜歡具有高階統(tǒng)計(jì)特性比較像自然圖像的圖片，而不是噪聲。

為什么會(huì)又有這樣的結(jié)果？為什么V2和V4的神經(jīng)元他們喜歡像自然圖像的圖片而不是那種噪聲呢？為了研究這個(gè)問(wèn)題，有兩種選擇，一種是用傳統(tǒng)的計(jì)算模型，計(jì)算神經(jīng)科學(xué)領(lǐng)域早期的模型都是單層的，現(xiàn)在為了研究這個(gè)問(wèn)題顯然單層模型沒有辦法的，因?yàn)檠芯康氖且曈X皮層的高級(jí)皮層，如果沒有下面的這些層，上面就沒有辦法研究，所以需要一個(gè)層次化的模型，所以我們考慮用深度學(xué)習(xí)的模型來(lái)研究這個(gè)問(wèn)題。

這是我們的模型，我們構(gòu)建了這樣一個(gè)模型，這是很標(biāo)準(zhǔn)的深度學(xué)習(xí)模型，有輸入輸出，我們用同樣的方式從自然圖片中創(chuàng)造出一種像自然圖片的圖片，一種是噪聲圖片，這個(gè)噪聲不是隨機(jī)噪聲，它也是具有一定語(yǔ)義的，但是它和像自然圖片的圖片有所不同。我們把這兩類圖片輸入到模型里面去，然后記錄每一層神經(jīng)元的反應(yīng)。我們也可以定義每個(gè)神經(jīng)元的Modulation Index，這個(gè)Modulation Index比較大就說(shuō)明這個(gè)神經(jīng)元比較喜歡具有高階統(tǒng)計(jì)特性的圖片。

結(jié)果非常有意思。有三行，第一行是AlexNet，第二行是VggNet，大家如果做深度學(xué)習(xí)的話是非常熟悉的，這兩類非常典型的卷積神經(jīng)網(wǎng)絡(luò)。這兩個(gè)神經(jīng)網(wǎng)絡(luò)有很多層，我們把他們分成五個(gè)大層，AlexNet本身就有五個(gè)卷積層，Vgg因?yàn)橹虚g有很多max pooling，以此為界可以把相鄰的幾個(gè)卷積層分成一個(gè)大層，總共也會(huì)有五個(gè)層，統(tǒng)計(jì)每個(gè)大層的Modulation Index，就是藍(lán)色的柱狀圖，基本上隨著層數(shù)越高，它的Modulation Index越高，右邊的圖顯示的每一層，Modulation Index的分布，可以看到在LAYER1的時(shí)候，Modulation Index集中在O，左右差不多對(duì)稱，越往后面去，Modulation Index越來(lái)越正，最后大部分集中在1，也就是說(shuō)比較頂層LAYER5大部分神經(jīng)元就是特別喜歡高階統(tǒng)計(jì)特性的圖片。下面還有一個(gè)網(wǎng)絡(luò)這是一個(gè)無(wú)監(jiān)督模型，我們叫它SHMAX，它的結(jié)構(gòu)跟上面兩個(gè)結(jié)構(gòu)基本是一樣的，唯一區(qū)別是它的學(xué)習(xí)是一種無(wú)監(jiān)督學(xué)習(xí)，我們可以得到同樣的結(jié)果，藍(lán)色柱狀圖和后面的Modulation Index分布都是一樣的結(jié)論。剛才最后的模型，每一層的學(xué)習(xí)是Sparse codind，Sparse coding的公式在這兒，我想很多朋友應(yīng)該聽說(shuō)過(guò)這個(gè)模型，這是經(jīng)典模型，1996年就提出來(lái)了，這是一個(gè)無(wú)監(jiān)督學(xué)習(xí)模式，也就是對(duì)于圖片不需要監(jiān)督，就可以進(jìn)行學(xué)習(xí)。我把這個(gè)模型堆疊很多層，先學(xué)一層，把它的輸出作為下一層的輸入，在下一層繼續(xù)用同樣的過(guò)程進(jìn)行學(xué)習(xí)，就可以得到剛才說(shuō)的第三個(gè)模型。

也就是說(shuō)對(duì)于有監(jiān)督學(xué)習(xí)模型和無(wú)監(jiān)督學(xué)習(xí)模型，他們的Modulation Index都是隨著乘數(shù)的增加而增高的。到底是什么樣的因素導(dǎo)致了這些神經(jīng)網(wǎng)絡(luò)具有這樣的特性，我們考察了很多因素，最后我們發(fā)現(xiàn)，Response Sparseness非常重要，它跟Modulation Index成正相關(guān)的關(guān)系，比如我們看AlexNet、VggNet、以及SHMAX，你看他們的稀疏性Sparseness，你給它看很多圖片，很多時(shí)候神經(jīng)元是不發(fā)放的，因?yàn)樗幸粋€(gè)ReLU，有些時(shí)候是不發(fā)放的，有些時(shí)候是發(fā)放的，Sparseness定義的是神經(jīng)元在多大的比例是不發(fā)放的，可以看到隨著層數(shù)上升，Sparseness會(huì)越來(lái)越強(qiáng)，正好跟Modulation Index趨勢(shì)差不多，我們做了對(duì)照實(shí)驗(yàn)，AlexNet每一層的稀疏性越高，Modulation Index也會(huì)越高，SHMAX也是一樣，稀疏性越高，Modulation Index就會(huì)越高。

簡(jiǎn)單總結(jié)，我們通過(guò)三個(gè)深度學(xué)習(xí)模型上發(fā)現(xiàn)和猴子視覺皮層高層反應(yīng)特點(diǎn)類似的一個(gè)結(jié)論。當(dāng)然也可以做一些預(yù)測(cè)，時(shí)間關(guān)系，這些模型預(yù)測(cè)我就不講了。

稀疏發(fā)放的特點(diǎn)和神經(jīng)科學(xué)的發(fā)現(xiàn)是呈正相關(guān)的關(guān)系

第二個(gè)工作，這是一個(gè)關(guān)于聽覺的。剛才已經(jīng)提到聽覺皮層也是層次化的結(jié)構(gòu)，人們?cè)诼犛X通路上也發(fā)現(xiàn)了很多有意思的一些結(jié)果，比如說(shuō)在耳蝸后有一個(gè)nerve fiber（59：03），你給它一些刺激，它的反映特別是呈這樣的小窩的形式，在下丘這個(gè)地方，這些神經(jīng)元它們的感受也是可以測(cè)出來(lái)的，橫軸是時(shí)間、縱軸是頻率。在聽覺皮層，人們發(fā)現(xiàn)在皮層里面有很多神經(jīng)元或者有很多Local area，他們可以特異性的一些音素比較喜歡，音素是比音節(jié)更小的單元，比如“a”里面有輔音“b”，元音“a”，元音輔音這些東西又叫音素。

作為計(jì)算能力科學(xué)怎么解釋這些結(jié)果？計(jì)算機(jī)科學(xué)已經(jīng)用Sparse coding解釋了nerve fiber 和下丘（IC）的神經(jīng)元的反映情況，具體是這樣的，這個(gè)模型還是Sparse coding模型，X是輸入、S是Response，如果你的輸入不再是圖片如果是語(yǔ)音，最后解出來(lái)A，A是每個(gè)神經(jīng)元的感受野，它就長(zhǎng)成這樣小波的形式。在IC區(qū)，用同樣模型只是把輸入改了一下，輸入不再用位子格式的輸入，而是進(jìn)行視頻轉(zhuǎn)換，輸入頻譜圖，把頻譜圖當(dāng)成X，再去求解一個(gè)Sparse coding模型，就會(huì)得到神經(jīng)元的感受點(diǎn)也呈這樣的形式，神經(jīng)科學(xué)家已經(jīng)發(fā)現(xiàn)IC區(qū)的神經(jīng)元的感受點(diǎn)的形狀就是長(zhǎng)這樣。

前面兩個(gè)層級(jí)的神經(jīng)元的反應(yīng)特點(diǎn)已經(jīng)被解釋了，第三層級(jí)，就是最高層，這個(gè)現(xiàn)象怎么解釋呢？核心含義是給病人插一些電極，做手術(shù)的病人插一些電極，可以發(fā)現(xiàn)有些電極特別喜歡d、g、e、h、k、t這幾個(gè)輔音，有些電極喜歡摩擦音，還有的喜歡元音o、e、i?？偠灾麄儼l(fā)現(xiàn)在人類的Quarter上面，神經(jīng)元對(duì)音素有特異化的表達(dá)，這種表達(dá)是怎么出現(xiàn)的呢？就是我們要回答的問(wèn)題，我們?yōu)槭裁从羞@樣的表達(dá)。第二個(gè)問(wèn)題是前面比較低的皮層用Sparse coding解釋了他們的現(xiàn)象，同樣的Sparse coding模型能不能解釋高層的現(xiàn)象呢？為了回答這兩個(gè)問(wèn)題我們做了層次化的稀疏編碼模型，典型的CNN結(jié)構(gòu)，只不過(guò)我們每一層的學(xué)習(xí)不再用BP算法，而是用Sparse coding，第一層學(xué)習(xí)完以后再學(xué)習(xí)第二層，第二層學(xué)完以后再學(xué)第三層，就這樣從底層一直到高層學(xué)習(xí)，我們的輸入就是時(shí)頻格式的信號(hào)。

有意思的是，構(gòu)建了這樣的層次化的稀疏編碼模型，我們把靠中間的層拿出來(lái)，S2第二卷積層，把這個(gè)地方的神經(jīng)元的感受畫出來(lái)，可以看到這些感受野和神經(jīng)科學(xué)家在下丘測(cè)出來(lái)的神經(jīng)元的感受野有類似的形狀，這些感受野的形狀參數(shù)的分布也和在貓的下丘這個(gè)地方測(cè)的參數(shù)分布是一致的。最有意思的是到頂層以后，我們發(fā)現(xiàn)頂層Layer C6，這里很多神經(jīng)元特異性的喜歡一類音素，比如B、P、L、G，還有一些神經(jīng)元喜歡元音，a、o、e。而且聚集效應(yīng)在頂層最明顯，在下面這些層也有，只不過(guò)這個(gè)效應(yīng)低一些，數(shù)值越低就是說(shuō)它的聚集效應(yīng)低一點(diǎn)。也就是說(shuō)這個(gè)模式并不是陡然在頂層出現(xiàn)的，其實(shí)下面的層級(jí)也出現(xiàn)了，只不過(guò)神經(jīng)科學(xué)家們沒有測(cè)到下面那些區(qū)域神經(jīng)元有這樣的表達(dá)，當(dāng)然這是我們的推測(cè)。

總結(jié)一下，我們發(fā)現(xiàn)一些深度學(xué)習(xí)的模型在中層和高層這些地方，這些神經(jīng)元的反應(yīng)和視覺和聽覺的中層和高層的真實(shí)的神經(jīng)元的反應(yīng)有一定的一致性，這個(gè)結(jié)果并不是一個(gè)非常Trivial的結(jié)果，我們并沒有嘗試Fit數(shù)據(jù)，所有的學(xué)習(xí)準(zhǔn)則要么是使得分類的準(zhǔn)確率高，要么是使得重建的輸入準(zhǔn)確，并沒有Fit任何生理學(xué)的數(shù)據(jù)，但是就是出現(xiàn)了這樣的特性，所以我們覺得這樣的結(jié)果還是非常有意思的。第二個(gè)結(jié)論，稀疏編碼，前面研究的這些深度學(xué)習(xí)模型都有一個(gè)稀疏發(fā)放的特點(diǎn)，而且稀疏發(fā)放的特點(diǎn)和神經(jīng)科學(xué)的發(fā)現(xiàn)有重要的關(guān)系，當(dāng)然這些深度神經(jīng)網(wǎng)絡(luò)去研究神經(jīng)科學(xué)的問(wèn)題也是存在巨大的缺陷，就是他們模型的細(xì)節(jié)結(jié)構(gòu)和生物上的系統(tǒng)還是存在著非常大的差異，所以沒有辦法用很粗糙的學(xué)習(xí)模型去研究細(xì)節(jié)的神經(jīng)科學(xué)的問(wèn)題。

感謝大家！

討論環(huán)節(jié)

山世光：謝謝胡老師給我們分享了兩個(gè)非常具體的案例，試圖去建立AI特別是深度學(xué)習(xí)模型和我們腦的神經(jīng)網(wǎng)絡(luò)之間在某一些層面的一致性。

再次感謝三位嘉賓的精彩分享，接下來(lái)我們進(jìn)入嘉賓討論環(huán)節(jié)。

我們今天的討論嘉賓除了剛剛已經(jīng)給大家介紹過(guò)的作分享的三位老師外，我們有幸邀請(qǐng)到三位討論嘉賓，他們分別是來(lái)自北京師范大學(xué)認(rèn)知神經(jīng)科學(xué)與學(xué)習(xí)國(guó)家重點(diǎn)實(shí)驗(yàn)室的畢彥超老師，來(lái)自中國(guó)科學(xué)技術(shù)大學(xué)神經(jīng)生物學(xué)與生物物理學(xué)系系畢國(guó)強(qiáng)老師，來(lái)自北京大學(xué)信息科學(xué)技術(shù)學(xué)院長(zhǎng)聘教授吳思老師。

畢彥超：我是來(lái)自北京師范大學(xué)認(rèn)知神經(jīng)科學(xué)與學(xué)習(xí)國(guó)重的畢彥超，謝謝山老師和未來(lái)論壇的邀請(qǐng)。

我自己做認(rèn)知神經(jīng)科學(xué)研究，我覺得整個(gè)論壇做認(rèn)知或者整個(gè)領(lǐng)域國(guó)內(nèi)做認(rèn)知的相對(duì)少一些，所以請(qǐng)?jiān)试S我稍微介紹一下我們整個(gè)主題。我們關(guān)注人的認(rèn)知功能的腦基礎(chǔ)，我們實(shí)驗(yàn)室關(guān)注的核心問(wèn)題是物體識(shí)別和知識(shí)的存儲(chǔ)。

我們關(guān)于大千世界有各種各樣的知識(shí)，比如簡(jiǎn)單的，剪刀有什么功能？玫瑰有什么顏色？最近我們學(xué)到的新冠病毒是什么？都存在大腦當(dāng)中，記憶系統(tǒng)的一部分叫語(yǔ)義記憶。有了這些知識(shí)信息我們才可以做各種各樣的認(rèn)知功能，我們可以識(shí)別物體，理解詞的意思。我們實(shí)驗(yàn)室特別關(guān)注這種知識(shí)，在記憶里面存儲(chǔ)在大腦什么地方。以什么樣的形式，編碼什么樣的信息。我們關(guān)注人的高級(jí)功能，拿各種各樣的人群做實(shí)驗(yàn)。比如正常人，把他放在核磁機(jī)器里，讓他做知識(shí)提取加工任務(wù)，看大腦活動(dòng)模式是什么。先天盲人和聾人，完全剝奪視覺和聽覺的經(jīng)驗(yàn)，看對(duì)大腦的知識(shí)和理解有什么樣的影響。

我們還做各種各樣的腦損傷病人，破壞大腦各種各樣的地方，看對(duì)什么樣的知識(shí)缺失。我們發(fā)現(xiàn)很多有趣的結(jié)果，很期待和AI領(lǐng)域的各位同行和朋友去交流，很想試一試我們的新發(fā)現(xiàn)和思路。

我是默默關(guān)注AI很多年，我一直受認(rèn)知心理學(xué)訓(xùn)練，在我早期念書的時(shí)候，AI早期的理論模型、PTP模型，都是天然的一些認(rèn)知心理學(xué)的模型。后來(lái)自己工作關(guān)注到大腦的機(jī)制，發(fā)現(xiàn)中間有很多年的鴻溝。前些年機(jī)緣巧合參加了AI兩個(gè)主要領(lǐng)域的會(huì)議，機(jī)器視覺和自然語(yǔ)言處理，發(fā)現(xiàn)很大的領(lǐng)域這么多人，用和我們非常相似的詞匯，但是其實(shí)做非常不同的事情也有很多不同的視角。所以這些年我也盡量學(xué)習(xí)和了解AI領(lǐng)域?qū)ξ覀兿嗨频膯?wèn)題的理解和思路，對(duì)我自己有很多的啟發(fā)，同時(shí)我也覺得我們對(duì)人腦認(rèn)知計(jì)算的很多新特點(diǎn)的發(fā)現(xiàn)，AI領(lǐng)域真的應(yīng)該過(guò)來(lái)試一試，很好玩，所以非常有興趣參加這種跨學(xué)科的交流活動(dòng)，謝謝未來(lái)論壇。

畢國(guó)強(qiáng)：非常感謝世光老師、華強(qiáng)老師與論壇的邀請(qǐng)，非常高興參加這次跨界論壇。我現(xiàn)在研究的工作和教書都是神經(jīng)生物學(xué)，我自己本科是學(xué)物理的，跟AI還是有一些特別的淵源。1988年左右，趙凱華老師組織過(guò)一個(gè)全國(guó)人工神經(jīng)網(wǎng)絡(luò)研討班，我跟著趙老師和他的研究生在研討班上做記錄，當(dāng)時(shí)就覺得非常神奇，然后就特別想要了解一下大腦神經(jīng)網(wǎng)絡(luò)是怎么回事兒，于是研究生的時(shí)候就開始學(xué)生物，算是一個(gè)曲折的經(jīng)歷。

我們現(xiàn)在做的神經(jīng)生物學(xué)工作與剛才華強(qiáng)、華錦老師都提到突觸可觸性有關(guān)，我關(guān)注的主要是學(xué)習(xí)記憶的規(guī)則和機(jī)制，這也與AI有關(guān)。AI之所以有這么強(qiáng)的威力，一個(gè)根本原因就是它的學(xué)習(xí)能力。我們研究大腦的學(xué)習(xí)和記憶主要關(guān)注兩個(gè)層次，一個(gè)是在突觸的層次，一個(gè)是在大腦神經(jīng)網(wǎng)絡(luò)的層次。在突觸層次上，可塑性是一種局域規(guī)則，比如我們研究的STDP，剛才兩位老師也講到過(guò)，是在生理?xiàng)l件下很多系統(tǒng)里大家也都觀測(cè)到的規(guī)則，也應(yīng)用在許多計(jì)算神經(jīng)科學(xué)和脈沖神經(jīng)網(wǎng)絡(luò)模型里。但實(shí)際上的STDP和脈沖神經(jīng)網(wǎng)絡(luò)的應(yīng)用還不是很成功，它的性能一直很難上去。我個(gè)人對(duì)這方面的理解是STDP作為一個(gè)生物學(xué)規(guī)律的描述還不是非常完善，比如在不同類型的神經(jīng)突觸甚至同一類型的神經(jīng)突觸的不同狀態(tài)下，STDP規(guī)則都可能很不一樣。這樣的話如果我們只是簡(jiǎn)單應(yīng)用同一個(gè)簡(jiǎn)化的規(guī)則，確實(shí)可以理解會(huì)遇到很多問(wèn)題。而完整的規(guī)則對(duì)于實(shí)驗(yàn)神經(jīng)生物學(xué)家來(lái)說(shuō)是一個(gè)很大的挑戰(zhàn)，原因是我們?nèi)匀蝗狈?duì)可塑性機(jī)理的深刻理解，而這在一定程度上是由于實(shí)驗(yàn)技術(shù)的局限。

最近十來(lái)年我們做的事情是嘗試發(fā)展和應(yīng)用新的微觀成像技術(shù)，包括最新的超分辨光學(xué)顯微和冷凍電鏡技術(shù)來(lái)看突觸到底是什么樣的，將來(lái)再進(jìn)一步去看它在可塑性中發(fā)生什么變化。另一方面在發(fā)展新的工具來(lái)看更大尺度上大腦神經(jīng)網(wǎng)絡(luò)是什么樣的，我們最近這幾年發(fā)展了一個(gè)新的高通量腦結(jié)構(gòu)成像方法，可以很快的把一個(gè)鼠腦的神經(jīng)元和全腦尺度的連接三維結(jié)構(gòu)很快拍出來(lái)，這樣的一個(gè)工具也讓我們能夠開始探討動(dòng)物在某些行為下的神經(jīng)活動(dòng)的印跡，再反推神經(jīng)活動(dòng)和行為之間的關(guān)系。我們正在深圳建設(shè)科大和深圳先進(jìn)院的聯(lián)合研究中心，叫腦信息中心，在那里我們希望通過(guò)這些不同尺度的成像方法來(lái)探索腦結(jié)構(gòu)和功能的大數(shù)據(jù)信息。這些數(shù)據(jù)的進(jìn)一步分析，也需要AI的方法，而從這些分析得到的結(jié)果，也希望能對(duì)AI的進(jìn)一步發(fā)展提供素材和啟發(fā)。這是我們做的事情，謝謝大家。

吳思：我先介紹一下自己，我是來(lái)自北京大學(xué)的吳思，我的研究方向是計(jì)算神經(jīng)科學(xué)。簡(jiǎn)單說(shuō)，計(jì)算神經(jīng)科學(xué)就是用計(jì)算的方法來(lái)研究腦科學(xué)，很顯然這樣的研究會(huì)有很多附產(chǎn)品，可以啟發(fā)我們發(fā)展人工智能的算法。

我課題組目前有50%的精力在做計(jì)算神經(jīng)科學(xué)，另外50%做類腦計(jì)算。目前比較關(guān)注的課題包括：神經(jīng)編碼的機(jī)制與模型，如大腦表征信息的正則化模型，大腦如何做貝葉斯推理，以及多模態(tài)信息整合的問(wèn)題；另一個(gè)大的方向是關(guān)于視覺信息的加工機(jī)制，如神經(jīng)反饋的作用，皮層下的視覺通路計(jì)算功能，以及皮層上和皮層下通路之間如何實(shí)現(xiàn)信息融合。另外，我們也做一些腦啟發(fā)的類腦計(jì)算研究，如用連續(xù)吸引子網(wǎng)絡(luò)大腦實(shí)現(xiàn)物體跟蹤，尤其是在加入負(fù)反饋的情況下實(shí)現(xiàn)預(yù)測(cè)跟蹤；同時(shí)受皮層下視覺通路啟發(fā)，我們也發(fā)展一些算法，可以做運(yùn)動(dòng)模式的識(shí)別、物體全局信息識(shí)別等，這些都太細(xì)節(jié)，這里就不詳細(xì)介紹。

首先感謝未來(lái)論壇的邀請(qǐng)，今天的主題是關(guān)于AI和腦科學(xué)之間的關(guān)系。在很多不同的場(chǎng)合總有人問(wèn)我這個(gè)問(wèn)題。從大的方面說(shuō)，AI就是我們要?jiǎng)?chuàng)造一個(gè)人工的智能體，這是個(gè)工程問(wèn)題；而腦科學(xué)，尤其腦科學(xué)中關(guān)注信息處理的研究，是要解析生物的智能體，這是一個(gè)科學(xué)問(wèn)題。因此，AI和腦科學(xué)的關(guān)系從某種意義上說(shuō)就是科學(xué)和工程的關(guān)系。在AI中，大家最近經(jīng)常強(qiáng)調(diào)深度學(xué)習(xí)的有可解釋性，就是我們要打開深度學(xué)習(xí)網(wǎng)絡(luò)的黑箱，這其實(shí)也是腦科學(xué)研究一直在干的事情，只不過(guò)打開的是生物體智能的黑箱。兩者都是在干同一個(gè)解析智能的問(wèn)題，一個(gè)是從工程的角度我們?cè)趺慈?chuàng)造一個(gè)智能體，而另一個(gè)是從科學(xué)的角度去解析大腦的工作原理。因此，兩者之間的互動(dòng)和互補(bǔ)是很顯然的。一方面，大腦是自然界已經(jīng)存在的智能體，我們了解它肯定能夠幫助AI發(fā)展；另一方面，創(chuàng)造AI也有助于我們真正了解生物智能。有一種說(shuō)法是了解一個(gè)事物，最佳的方法就是你去制造它。

AI和腦科學(xué)互助從邏輯上說(shuō)是非常自然的。大腦是宇宙中已知的最好的智能體，發(fā)展人工智能當(dāng)然要從大腦中去學(xué)。腦科學(xué)的確已經(jīng)給了AI啟發(fā)，但目前還遠(yuǎn)遠(yuǎn)不夠。從我自己的研究經(jīng)驗(yàn)看似乎經(jīng)常是AI幫助我做腦科學(xué)，而不是腦科學(xué)對(duì)AI有什么幫助。這個(gè)問(wèn)題出在什么地方呢？一個(gè)很大的問(wèn)題是吳華強(qiáng)老師剛才說(shuō)的，現(xiàn)在的算力不夠；即便計(jì)算神經(jīng)科學(xué)發(fā)展了一些好模型，如果沒有很好的算力，就實(shí)現(xiàn)不了，體現(xiàn)不出腦啟發(fā)的優(yōu)點(diǎn)。此外，我覺得還有兩個(gè)問(wèn)題經(jīng)常被大家忽視。一是目前AI的應(yīng)用其實(shí)關(guān)注的任務(wù)相比我們?nèi)四X的高級(jí)認(rèn)知功能來(lái)說(shuō)還是太簡(jiǎn)單。比如AI的很多應(yīng)用涉及的核心任務(wù)是目標(biāo)識(shí)別，但大腦在我們?nèi)粘Ｉ钏媾R的計(jì)算遠(yuǎn)遠(yuǎn)不是簡(jiǎn)單的目標(biāo)識(shí)別。當(dāng)AI應(yīng)用以后走向更復(fù)雜的任務(wù)，可能腦科學(xué)能夠提供更多的幫助。還有一個(gè)問(wèn)題涉及當(dāng)前實(shí)驗(yàn)室科學(xué)的研究，計(jì)算神經(jīng)科學(xué)要根據(jù)實(shí)驗(yàn)數(shù)據(jù)，但當(dāng)前的實(shí)驗(yàn)范式通常都太簡(jiǎn)單了，比如對(duì)猴子呈現(xiàn)一個(gè)簡(jiǎn)單的刺激，然后記錄大腦內(nèi)神經(jīng)元怎么反應(yīng)，即便我們把整個(gè)計(jì)算過(guò)程揭示出來(lái)，它對(duì)我們認(rèn)識(shí)大腦的高級(jí)認(rèn)知功能還相差很遠(yuǎn)。所以實(shí)驗(yàn)科學(xué)家也要加把勁，把整個(gè)實(shí)驗(yàn)范式設(shè)置的更復(fù)雜，更多揭示大腦如何實(shí)現(xiàn)高級(jí)認(rèn)知功能，在此基礎(chǔ)上計(jì)算神經(jīng)科學(xué)的建模、以及發(fā)展的算法才能對(duì)AI有用。

第一：腦科學(xué)已經(jīng)為AI發(fā)展提供了什么思想、方法和技術(shù)？有哪些典型案例？

吳華強(qiáng)：我們最近剛剛做一個(gè)樹突計(jì)算的事情，我們最開始做，其實(shí)是我們看一個(gè)器件和樹突優(yōu)點(diǎn)相似，過(guò)去神經(jīng)網(wǎng)絡(luò)里只有神經(jīng)元和樹突，樹突在神經(jīng)元里面不體現(xiàn)，也就是所有的突觸的信號(hào)都傳到胞體上和neuro上來(lái)了，然后Neuro再做integrate/fire。我們發(fā)現(xiàn)有一些憶阻器和我們的突觸不一樣，可能有積分功能和過(guò)濾功能，后來(lái)就跟吳思老師、和畢老師討論過(guò)，覺得和樹突有點(diǎn)相似，我們就開始研究樹突能不能做一個(gè)Electronic dendrite Device，后來(lái)發(fā)現(xiàn)很有意思，人的大腦里突觸很多，突觸的很多信號(hào)如果都傳到胞體上，胞體就崩潰了，就分掉了，這是我猜測(cè)的。

不是所有的樹突都傳到胞體上去，它空間上會(huì)group，而且時(shí)間上也會(huì)做一些group。很多信號(hào)，70%、80%的信號(hào)突觸上產(chǎn)生的并不傳到胞體上來(lái)，它只把重要的信號(hào)傳過(guò)來(lái)，接近胞體比較近的樹突那邊有一個(gè)負(fù)的結(jié)構(gòu)，這種結(jié)構(gòu)對(duì)我們神經(jīng)網(wǎng)絡(luò)是不是可以大幅度的提升，神經(jīng)網(wǎng)絡(luò)是不是可以引入一個(gè)輕的樹突，就把有一些突觸的Synapses weight，它和多加一層（神經(jīng)元）不一樣，多加一層“W…”（神經(jīng)元）就要多加一個(gè)層weight（權(quán)重），樹突其實(shí)和Neuro Soma是緊密結(jié)合的，一個(gè)胞體，一個(gè)Neuro有很多個(gè)樹突，是固定連接。如果引入樹突，會(huì)不會(huì)讓我們整個(gè)計(jì)算更加準(zhǔn)確。甚至我們的注意力也和這個(gè)有關(guān)系。后來(lái)我們做了一點(diǎn)工作，把突觸和樹突和胞體，在實(shí)驗(yàn)場(chǎng)連在一起，做一個(gè)小的系統(tǒng)，發(fā)現(xiàn)還挺有意思的。一方面對(duì)SVA圈數(shù)據(jù)集，街邊的數(shù)字，門牌號(hào)進(jìn)行識(shí)別，發(fā)現(xiàn)準(zhǔn)確率提高了，動(dòng)態(tài)能效提高30倍。這是舉個(gè)例子說(shuō)通過(guò)對(duì)腦科學(xué)理解讓AI網(wǎng)絡(luò)更加提升。

山世光：這是挺有意思的一個(gè)話題，剛才說(shuō)到猜測(cè)樹突是不是有濾波的功能，過(guò)去我們說(shuō)MCP的神經(jīng)元模型里面是一個(gè)積分，你是不是相當(dāng)于對(duì)每一路的輸入又有一個(gè)濾波，是又加了一層濾波嗎？

吳華強(qiáng)：就是那個(gè)器件可以對(duì)它進(jìn)行過(guò)濾，我介紹的器件并不是百分之百把樹突功能都模仿了，也許在做新的電子器件，網(wǎng)絡(luò)架構(gòu)上可以發(fā)生變化，去年10月我到美國(guó)訪問(wèn)MIT，它的實(shí)驗(yàn)室有一個(gè)教授做的報(bào)告就有樹突計(jì)算的，我聽了一下，他有一個(gè)觀點(diǎn)，樹突的長(zhǎng)度和智慧是有關(guān)聯(lián)的。他說(shuō)老鼠的樹突多長(zhǎng)、人的樹突多長(zhǎng)，智慧和樹突的長(zhǎng)度有關(guān)系。也許給我們AI帶來(lái)很大變化。

畢國(guó)強(qiáng)：華強(qiáng)老師說(shuō)的樹突計(jì)算非常有意思，我聽到華強(qiáng)的結(jié)果也非常興奮，最后的效能提升是由于什么原因？是不是樹突的濾波性質(zhì)或樹突本身的構(gòu)架？這種構(gòu)架可能把突觸變得不太一樣，一般人工神經(jīng)網(wǎng)絡(luò)構(gòu)架中每個(gè)突觸的基本性質(zhì)是一樣的，樹突構(gòu)架可能引入了異質(zhì)性。另外，樹突結(jié)構(gòu)本身的層級(jí)結(jié)構(gòu)的復(fù)雜性也可能會(huì)對(duì)最終產(chǎn)生的計(jì)算能力有一些影響。關(guān)于異質(zhì)性，我剛提到的突觸可塑性，STDP應(yīng)用到人工神經(jīng)網(wǎng)絡(luò)效果不好，一個(gè)可能的原因就是異質(zhì)性。所以華強(qiáng)的這個(gè)工作，把樹突結(jié)構(gòu)加進(jìn)去，非常值得進(jìn)一步看到底是哪些特征產(chǎn)生了這些性能的提升或者改變。

當(dāng)然從哲學(xué)層次上來(lái)說(shuō)，生物的大腦和神經(jīng)系統(tǒng)是很多年進(jìn)化的結(jié)果，是經(jīng)過(guò)自然選擇，證明是能夠Work的東西。但這里面又有多個(gè)尺度上的復(fù)雜性，從最小尺度上，即使只是看突觸不到一微米大小的設(shè)備，其實(shí)真實(shí)的突觸非常復(fù)雜，然后到環(huán)路、到整個(gè)大腦的結(jié)構(gòu)。我們?nèi)ツ７麓竽X，可能在不同尺度、不同層次上都可以獲得不同的啟發(fā)。這個(gè)時(shí)候關(guān)鍵的一點(diǎn)是我們從中得到的東西要分析出來(lái)是哪些特性能夠?qū)I起到正面的作用。我覺得短時(shí)間內(nèi)要全面地模仿大腦肯定是不現(xiàn)實(shí)的，所以我們需要從復(fù)雜的層級(jí)結(jié)構(gòu)中抽提出關(guān)鍵特性一步一步模仿。

第二：從腦科學(xué)可以轉(zhuǎn)化到AI來(lái)的，大家可以不可以分享一些更好的案例？

胡曉林：剛才的問(wèn)題是問(wèn)腦科學(xué)已經(jīng)為AI提供了什么樣的幫助，有很多工作其實(shí)是從腦科學(xué)啟發(fā)過(guò)來(lái)，追根溯源到1943年，麥克和皮茨這兩個(gè)人第一次提出人工神經(jīng)元MP神經(jīng)元，如果沒有他們提出人工神經(jīng)元，后面的這些CNN等等都是不存在的，他們其實(shí)是做神經(jīng)科學(xué)的，他們嘗試發(fā)明計(jì)算模型并解釋大腦的工作，他們提出了這種邏輯運(yùn)算的MP神經(jīng)元。后來(lái)Rosenbaltt把MP神經(jīng)元擴(kuò)展了一下，得到了多層感知機(jī)。后來(lái)在1989年、1990年的時(shí)候Yan LeCun等人提出來(lái)CNN，當(dāng)時(shí)是受了Neocognitron模型的啟發(fā)，Neocognitron是日本人Fukushima提出來(lái)的，我真的找過(guò)他那篇論文，Neocognitron的結(jié)構(gòu)和現(xiàn)在CNN的結(jié)構(gòu)一模一樣，唯一區(qū)別是學(xué)習(xí)方法不一樣，Neocognitron在1980年提出來(lái)時(shí)還沒有BP算法。Neocognitron怎么來(lái)的呢？它是受到一個(gè)神經(jīng)科學(xué)的發(fā)現(xiàn)，在貓的視覺皮層有簡(jiǎn)單細(xì)胞、復(fù)雜細(xì)胞兩種細(xì)胞，從這兩種細(xì)胞的特點(diǎn)出發(fā)構(gòu)建了Neocognitron嘗試去解釋大腦怎么識(shí)別物體的。后來(lái)才發(fā)展到CNN。MP神經(jīng)元和Neocognitron這是兩個(gè)具有里程碑意義的方法，這是很典型的神經(jīng)科學(xué)給我們AI的啟發(fā)的工作，甚至可以說(shuō)是顛覆性的工作。

坦白說(shuō)到這次神經(jīng)網(wǎng)絡(luò)、人工智能的騰飛，這次騰飛期間我并沒有看到特別多令人非常興奮的腦啟發(fā)的工作，我本人也做了一些這方面的工作，發(fā)現(xiàn)目前一些受腦科學(xué)啟發(fā)的計(jì)算模型好像都沒有我剛才說(shuō)的那兩個(gè)模型的意義那么大。希望這個(gè)領(lǐng)域能出現(xiàn)一些新的腦啟發(fā)的方法，哪怕它們現(xiàn)在的性能非常差，但是十幾年、幾十年以后，它們也許會(huì)成為奠基性的工作。

山世光：SNN還需要時(shí)間再去進(jìn)一步觀察，因?yàn)槟壳斑€沒有到那么強(qiáng)大的地步。吳華強(qiáng)老師做存算一體，不知道很可能會(huì)成為未來(lái)值得關(guān)注受腦啟發(fā)做計(jì)算的模型。

胡曉林：有可能。

畢彥超：我們了解任何一個(gè)智能系統(tǒng)，比如戈登摩爾，我們非常喜歡的一位計(jì)算神經(jīng)科學(xué)家說(shuō)，了解任何一個(gè)智能系統(tǒng)，要從三個(gè)層次看:計(jì)算、算法和實(shí)現(xiàn)。我聽到剛才大家講的，借鑒的大多都是在實(shí)現(xiàn)層面的，包括硬件、底層、神經(jīng)元，等等。我覺得在計(jì)算和算法的層面上，對(duì)于這兩個(gè)基本機(jī)理完全不同的智能系統(tǒng)，計(jì)算和算法有很多可以參考的地方。我覺得目前沒有看到這方面的界線，我會(huì)覺得認(rèn)知神經(jīng)科學(xué)或者認(rèn)知心理學(xué)是一個(gè)寶藏。剛才吳老師也提到在視覺加工的時(shí)候，至少人腦和猴腦的視覺絕對(duì)不僅僅是識(shí)別這個(gè)標(biāo)簽就可以了，是為了正確規(guī)避的反應(yīng)，有社交的功能。我們已經(jīng)在人和猴子的高度視覺皮層能夠看到非視覺，比如對(duì)標(biāo)簽的運(yùn)動(dòng)皮層的不同反應(yīng)作為它的塑造作用。剛才吳老師和畢國(guó)強(qiáng)老師都提到，人的condition并不是特定的single purpose，而現(xiàn)在AI的計(jì)算很多是特定的purpose，但是并不等于人或者其他動(dòng)物目前所謂的最優(yōu)解，肯定看我們想要達(dá)到什么樣的目的。

我舉一個(gè)簡(jiǎn)單的例子，我做知識(shí)存儲(chǔ)，在AI里面知識(shí)存儲(chǔ)全都從文本來(lái)，但實(shí)際上神經(jīng)科學(xué)，知識(shí)存儲(chǔ)，更主流的觀點(diǎn)是從感知經(jīng)驗(yàn)來(lái)，從視覺來(lái)、從聽覺來(lái)，跟視覺去互動(dòng)來(lái)。我們最新的工作是發(fā)現(xiàn)在人里面這兩項(xiàng)都有，而且是獨(dú)立的存在。AI里面，大家經(jīng)常會(huì)問(wèn)，常識(shí)性的知識(shí)怎么表達(dá)，一直是個(gè)很大的挑戰(zhàn)。我們說(shuō)人腦在神經(jīng)科學(xué)的研究有這方面的答案，從我們感知和運(yùn)動(dòng)，與視覺的互動(dòng)當(dāng)中來(lái)。剛才說(shuō)借鑒的成果，我會(huì)覺得Implementation我看到很多令人激動(dòng)的已經(jīng)很好的成果，我還蠻希望人和我們交流，我會(huì)覺得有很多寶藏。

第三：AI怎么助力了腦科學(xué)的發(fā)展， AI對(duì)腦科學(xué)的發(fā)展有什么典型的幫助？

吳思：我們要看我們?cè)趺炊xAI。如果泛泛的包括信息理論、動(dòng)力學(xué)系統(tǒng)分析、統(tǒng)計(jì)學(xué)習(xí)等，那么這些都是計(jì)算神經(jīng)科學(xué)每天在用的工具，它們一直在助力腦科學(xué)的發(fā)展。如果一定要強(qiáng)調(diào)最新的，比如說(shuō)深度學(xué)習(xí)，那么如何將AI用于腦科學(xué)是目前的一個(gè)研究熱點(diǎn)。國(guó)際上有多個(gè)組，也包括清華的胡曉林老師，大家把視覺系統(tǒng)當(dāng)成一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)，然后訓(xùn)練這個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)，同時(shí)加入一些生物學(xué)的約束，然后用對(duì)比的方法看這個(gè)系統(tǒng)能學(xué)習(xí)到什么，進(jìn)而回答生物視覺認(rèn)知的問(wèn)題。

山世光：我們看到一些工作也都是在驗(yàn)證，深度網(wǎng)絡(luò)和人的大腦之間似乎在層上有一定的對(duì)應(yīng)性。

唐華錦：我補(bǔ)充一下吳思老師講的，在傳統(tǒng)上AI提供了很重要的大數(shù)據(jù)分析工具，視覺神經(jīng)、視覺皮層，現(xiàn)在的AI提供了很重要的大數(shù)據(jù)工具，尤其是在高通量的腦成像方面，建立非常精細(xì)的腦模型，AI大數(shù)據(jù)起到重要的作用。還有實(shí)時(shí)的腦活動(dòng)的分析上，比如斑馬魚的活動(dòng)，如何同時(shí)實(shí)時(shí)記錄以及把這些神經(jīng)元的活動(dòng)匹配到那些神經(jīng)元上，這是大量AI深度學(xué)習(xí)幫助腦科學(xué)家在分析數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)上，包括三維重建，包括樹突、軸突之間連接的結(jié)構(gòu)也會(huì)起到非常重要的作用，AI還是提供了很好的工具在深入的解釋上面。

胡曉林：我接著吳思老師剛才的觀點(diǎn)和大家分享，吳思說(shuō)現(xiàn)在國(guó)際有一個(gè)熱點(diǎn)，用深度學(xué)習(xí)的方式去研究以前在生物學(xué)實(shí)驗(yàn)當(dāng)中的結(jié)果，在這個(gè)模型當(dāng)中能不能出現(xiàn)這個(gè)結(jié)果。我想說(shuō)的一點(diǎn)，這是第一步，我們首先要來(lái)看一下深度學(xué)習(xí)模型是不是具有這樣的特點(diǎn)。如果發(fā)現(xiàn)它具有這樣的特點(diǎn)，你能干什么。深度學(xué)習(xí)模型是你自己構(gòu)造的，這個(gè)模型你所有神經(jīng)元都可以測(cè)。不像生物體會(huì)受到實(shí)驗(yàn)條件限制，有些地方測(cè)不到。這個(gè)模型是你自己構(gòu)造的，所有神經(jīng)元的特點(diǎn)都可以測(cè)。如果有了一個(gè)等價(jià)模型，在等價(jià)的人工智能模型上做一些實(shí)驗(yàn)和解釋，做一些原理性的探索，會(huì)比在動(dòng)物那種“黑箱”上做容易一些。

我給大家再分享一個(gè)話題，去年的時(shí)候MIT有一個(gè)組，DiCarlo實(shí)驗(yàn)室，剛才提到了他們2014年的工作，他們?nèi)ツ暧幸粋€(gè)更進(jìn)一步的工作，在猴子的高級(jí)皮層，神經(jīng)科學(xué)家很難用一個(gè)刺激讓這些神經(jīng)元能夠以一個(gè)很大的發(fā)放率去發(fā)放。如果做實(shí)驗(yàn)的話會(huì)發(fā)現(xiàn)，越往高層就越難讓一個(gè)神經(jīng)元發(fā)放。為解決這個(gè)問(wèn)題他們做了一個(gè)實(shí)驗(yàn)。他們先構(gòu)造了一個(gè)神經(jīng)網(wǎng)絡(luò)CNN，然后把中間的某一層L3層取出來(lái)和猴子V4區(qū)域的神經(jīng)元反應(yīng)做簡(jiǎn)單的映射，這個(gè)映射可能是一個(gè)小網(wǎng)絡(luò)，然后學(xué)出參數(shù)。學(xué)出來(lái)之后，他們認(rèn)為從視覺刺激（這只貓）到你的眼睛通過(guò)L1、L2、L3再到V4這是一個(gè)通路，這個(gè)通路上經(jīng)過(guò)的是人工神經(jīng)網(wǎng)絡(luò)，而不是真正的生物系統(tǒng)，真正的生物系統(tǒng)是下面的通路，看到這只貓然后經(jīng)過(guò)V1、V2、V3最后傳到V4。所以他們其實(shí)構(gòu)造了一個(gè)視覺通路的替代模型。你可以通過(guò)這個(gè)替代模型，這個(gè)神經(jīng)網(wǎng)絡(luò)，用BP算法反求一個(gè)刺激，使得V4區(qū)的神經(jīng)元反應(yīng)最大，最后發(fā)現(xiàn)反求出來(lái)的刺激像下面這張圖的樣子。然后再把這些刺激給猴子看，去測(cè)V4區(qū)神經(jīng)元反應(yīng)是不是最大。發(fā)現(xiàn)V4區(qū)的神經(jīng)元反應(yīng)遠(yuǎn)遠(yuǎn)超出以前用任何刺激所帶來(lái)的反應(yīng)，也就是說(shuō)如果不用他們這種反求的方式去做刺激，用自然數(shù)據(jù)是很難讓這個(gè)神經(jīng)元發(fā)放這么強(qiáng)烈的。這個(gè)就解決了他們做生理學(xué)實(shí)驗(yàn)的一個(gè)痛點(diǎn)。我和做聽覺的老師聊過(guò)，他們?cè)诤镒拥穆犛X皮層發(fā)現(xiàn)大部分神經(jīng)元都是不反應(yīng)的，很多人覺得猴子的聽覺神經(jīng)元不是干聽覺這件事的，很多人想不通為什么這樣，我覺得可能是我們沒有找到合適的刺激。

畢彥超：我想補(bǔ)充一句，用AI來(lái)理解大腦的事情，吳思老師也提到我們很費(fèi)力的想把黑箱打開，我理解AI最近的潮流，包括最近講的DNN很多時(shí)候是把黑箱合上，比如模擬的很好，如果只為一個(gè)模型，跟我的神經(jīng)模擬的很好，或者可以操縱的話，并不等于它就是這樣的。并不是說(shuō)這個(gè)沒有用，而是用它理解大腦的時(shí)候，比如我們多找一些不同的模型去對(duì)比，才會(huì)有價(jià)值，才有可能為理解稍微添更多的證據(jù)。

山世光：這本身對(duì)AI，我們現(xiàn)在深度學(xué)習(xí)的模型也是一個(gè)黑箱，在過(guò)去三年里AI領(lǐng)域已經(jīng)把AI的可解釋AI或者XAI這個(gè)研究問(wèn)題突出出來(lái)了，很多人做了非常漂亮的工作解釋黑盒子模型，我相信在接下來(lái)的時(shí)間里肯定會(huì)有更多的發(fā)展。這個(gè)話題還有哪位老師發(fā)言？

畢國(guó)強(qiáng)：我再補(bǔ)充一句，剛才幾位老師已經(jīng)說(shuō)的非常透徹了，AI在腦科學(xué)研究中能夠起到很多助力作用，從基本的大數(shù)據(jù)分析到更高層次的模擬，對(duì)大腦的模擬。在最后一步，對(duì)大腦的模擬有不同深度，早期的人工神經(jīng)網(wǎng)絡(luò)以及現(xiàn)在很多深度神經(jīng)網(wǎng)絡(luò)所模擬的只是神經(jīng)元和突觸連接的一些非?；镜男再|(zhì)。用這樣簡(jiǎn)單的性質(zhì)來(lái)模擬大腦，能夠得到的一些似乎和大腦里面發(fā)生的類似的現(xiàn)象，這確實(shí)反映了非常根本的機(jī)制。但是很可能很多事情是沒有辦法用目前的人工神經(jīng)網(wǎng)絡(luò)來(lái)解釋的，這時(shí)候需要用進(jìn)一步的模擬，也可能叫計(jì)算神經(jīng)科學(xué)的模擬，剛才吳思提到AI和計(jì)算神經(jīng)科學(xué)沒有本質(zhì)上的嚴(yán)格邊界，這種更深層次模型通過(guò)加入更多的腦神經(jīng)系統(tǒng)的特性就可能模擬神經(jīng)系統(tǒng)更多的行為，然后可以再反過(guò)來(lái)看哪些性質(zhì)是哪些行為必須的。當(dāng)然最后這還是一個(gè)大腦理解大腦的復(fù)雜性問(wèn)題。

第五：我們面臨的是兩個(gè)黑盒子，深度學(xué)習(xí)和大腦這兩個(gè)黑盒子怎么互相對(duì)比？能不能把這個(gè)黑盒子打開？

吳華強(qiáng)：我們可以用人的大腦去研究老鼠的大腦，我們可以先從簡(jiǎn)單的東西研究起，我們不能打開自己的大腦，我們打開別人的大腦。

山世光：腦科學(xué)研究需要什么樣的AI技術(shù)來(lái)解決什么樣的前沿腦科學(xué)問(wèn)題，哪位老師就這個(gè)話題再說(shuō)幾句。

吳思：我特別期望望神經(jīng)形態(tài)研究的發(fā)展，就是唐華錦和吳華強(qiáng)老師他們將的東西來(lái)幫助來(lái)幫助計(jì)算神經(jīng)科學(xué)的發(fā)展。我們研究腦科學(xué)，提出了各種模型和機(jī)制后，如果有一個(gè)類腦的硬件系統(tǒng)驗(yàn)證一下，就能更好證明這個(gè)機(jī)制和模型是否生物學(xué)合理，能否在AI中得到應(yīng)用。

第六：我們還有一個(gè)話題關(guān)于人才培養(yǎng)，這是未來(lái)論壇秘書處覺得非常重要的話題，我們看哪位老師對(duì)交叉學(xué)科培養(yǎng)有經(jīng)驗(yàn)或者想法？

畢國(guó)強(qiáng)：這是非常重要的，可能目前整個(gè)領(lǐng)域，尤其是在國(guó)內(nèi)發(fā)展的真正瓶頸，就是怎么樣培養(yǎng)更多的交叉學(xué)科的優(yōu)秀人才。這是一個(gè)很大的挑戰(zhàn)，因?yàn)檎嬲腁I-腦科學(xué)交叉學(xué)科人才可能需要對(duì)兩個(gè)學(xué)科都要有充分的把握，而這兩個(gè)學(xué)科都是很難的學(xué)科，計(jì)算機(jī)科學(xué)、神經(jīng)生物學(xué)都很難，而且它中間重疊的部分又不多，不像是計(jì)算機(jī)和應(yīng)用數(shù)學(xué)，或者生物學(xué)和化學(xué)相對(duì)容易一些，如果想把AI和腦科學(xué)這兩個(gè)連在一起，你需要幾乎雙倍的專業(yè)知識(shí)。國(guó)外有很多值得借鑒的經(jīng)驗(yàn)，但最關(guān)鍵是需要鼓勵(lì)青年人追求自己的興趣，你如果感覺大腦很神奇或者AI很神奇，真的想研究它們，理解它們，那就花別人雙倍的力氣把這兩個(gè)學(xué)科都學(xué)好，這是最重要的。我讀物理研究生時(shí)很容易，英語(yǔ)聽不懂照樣去考試，但讀生物研究生的時(shí)候發(fā)現(xiàn)不光英語(yǔ)聽不懂，翻譯成中文也聽不懂，我只拿錄音機(jī)錄下來(lái)，仔細(xì)查，把所有東西一點(diǎn)一點(diǎn)搞清楚，這樣花了一個(gè)多學(xué)期的時(shí)間之后，就開始真正能理解生物學(xué)家說(shuō)的話，可以開始去做這方面的研究。另一方面，國(guó)內(nèi)很多課程設(shè)置有專業(yè)限制，不同專業(yè)間的壁壘還是很大的。在生物系和計(jì)算機(jī)系這兩個(gè)學(xué)科的要求差別非常大，這時(shí)候需要設(shè)計(jì)真正的交叉學(xué)科的課程體系，科大在這方面做過(guò)一些努力，比如溫泉老師教物理系學(xué)生計(jì)算神經(jīng)科學(xué)的課，深圳在建的中科院深圳理工大學(xué)也希望建立AI+腦科學(xué)的智能交叉學(xué)科專業(yè)方向，建成培養(yǎng)交叉學(xué)科頂尖人才的機(jī)制。我想后面會(huì)慢慢好的，大家在北大、清華、浙大，在這方面都有很重的責(zé)任。

畢彥超：剛才畢老師講的太好，我自己會(huì)思索，不光是對(duì)人才培養(yǎng)，對(duì)我們每個(gè)人都是一直的挑戰(zhàn)，我們參加這個(gè)論壇，已經(jīng)可能是自己領(lǐng)域的異類?？鐚W(xué)科有很多特別不容易溝通的地方，雖然用同樣的詞，其實(shí)是固守一些成見，按照自己學(xué)科的思路去想。剛才吳思提到一點(diǎn)，腦科學(xué)很多是科學(xué)的思維，AI很多是工程思維，我會(huì)覺得在溝通過(guò)程中我們都會(huì)碰到一些壁壘，這時(shí)候怎么更開放，思考背后大家真正關(guān)心的大問(wèn)題，而不是當(dāng)前具體某個(gè)小問(wèn)題，特別的重要。所以在人才培養(yǎng)，我想說(shuō)自己沒有成功的經(jīng)驗(yàn)，但是我一直在招博后，如果有感興趣的聽眾。

山世光：我今天早上還在看心理所要設(shè)計(jì)本科專業(yè)，課程體系里我看到人工智能的課他們有一門，我就在想這個(gè)人工智能的課誰(shuí)來(lái)講、講什么，對(duì)他們來(lái)講前面沒有計(jì)算機(jī)變成課，上來(lái)就有人工智能，給心理所的人講，確實(shí)課程體系建設(shè)方面有有非常多的地方需要努力。

唐華錦：浙大這邊新招的人工智能專業(yè)本科生專業(yè)設(shè)置了AI+腦科學(xué)的交叉課程，在推動(dòng)培養(yǎng)新一代的AI+腦科學(xué)方面的交叉人才上已經(jīng)在布局，相信清華、北大也有類似課程的設(shè)計(jì)。

胡曉林：我個(gè)人認(rèn)為在畢老師你們那兒開人工智能課，前面沒有編程基礎(chǔ)，上來(lái)就講人工智能很難的。我覺得反過(guò)來(lái)，如果在信息科學(xué)這樣的院系開設(shè)腦科學(xué)相對(duì)來(lái)講應(yīng)該是比較容易的，因?yàn)榫臀疫@點(diǎn)不成功的經(jīng)驗(yàn)來(lái)講，學(xué)神經(jīng)科學(xué)可能不需要特別系統(tǒng)的、像數(shù)學(xué)、編程那樣要經(jīng)過(guò)好幾年的培養(yǎng)。浙大這樣的做法可能是比較好一點(diǎn)。在我的課題組，我是鼓勵(lì)同學(xué)們做一些腦科學(xué)的事兒，但是目前為止不是特別成功?，F(xiàn)在計(jì)算機(jī)信息學(xué)科的學(xué)生更加關(guān)注的還是AI，偏純AI，技術(shù)本身。這是另一個(gè)方面的困難。

山世光：也不容易，我本人也學(xué)了好幾年，現(xiàn)在剛剛能做到腦科學(xué)、神經(jīng)科學(xué)說(shuō)的詞匯我基本能理解，但是更深刻的思考也做不到，感覺也不是那么容易。

胡曉林：要真正有興趣，真的覺得這個(gè)東西不解決，AI這個(gè)領(lǐng)域可能也沒有特別大的發(fā)展。

山世光：還是要投入雙倍的時(shí)間和精力。

現(xiàn)場(chǎng)問(wèn)答環(huán)節(jié)

第七、 大腦如何完成學(xué)習(xí)-記憶融合的？能不能稍微展開講一下。

唐華錦：因?yàn)闀r(shí)間關(guān)系我簡(jiǎn)單陳述一下。這涉及到我們對(duì)記憶的理解問(wèn)題，首先記憶通過(guò)神經(jīng)元的群組編碼實(shí)現(xiàn)，比如對(duì)某個(gè)概念，必須有一組神經(jīng)元對(duì)這個(gè)概念進(jìn)行表述，這組神經(jīng)元就要通過(guò)學(xué)習(xí)對(duì)這個(gè)概念進(jìn)行響應(yīng)，比如通過(guò)快速學(xué)習(xí)，這個(gè)神經(jīng)元群組之間要加強(qiáng)它們之間的連接。把這個(gè)概念和另一個(gè)概念之間，如果它們之間存在聯(lián)想關(guān)系，不同的神經(jīng)元群組間要形成一個(gè)新連接，這個(gè)連接要把不同概念聯(lián)系起來(lái)。群組內(nèi)的神經(jīng)元連接以及群組間的神經(jīng)元連接都要通過(guò)學(xué)習(xí)方式實(shí)現(xiàn)。要么通過(guò)無(wú)監(jiān)督STDP學(xué)習(xí)規(guī)則，或者通過(guò)有監(jiān)督的學(xué)習(xí)規(guī)則來(lái)實(shí)現(xiàn)學(xué)習(xí)和記憶的融合。

山世光：華強(qiáng)老師在做存算一體，不知道是不是更重要的是“學(xué)算、學(xué)憶一體”更值得做。

吳華強(qiáng)：這個(gè)問(wèn)題問(wèn)的很好，看學(xué)算怎么定義，我們現(xiàn)在做的這個(gè)工作，是可以Chip上做學(xué)習(xí)的，也就是它可以改變位置可以學(xué)習(xí)的，而且我們芯片上也實(shí)現(xiàn)了。

第八、如果就一個(gè)神經(jīng)元來(lái)講，它怎么學(xué)和記憶一起，現(xiàn)在MCP模型是沒有記憶力的。

吳華強(qiáng)：如果現(xiàn)在突觸在生物上會(huì)不斷變化，因?yàn)橥ㄟ^(guò)學(xué)習(xí)它會(huì)變化，電子器件也是一樣的，比如我現(xiàn)在存的值10歐姆，新的學(xué)習(xí)過(guò)來(lái)之后把它變成12歐姆或者9歐姆也是可以的，通過(guò)變化就實(shí)現(xiàn)了它的記憶。當(dāng)一個(gè)芯片真的能夠比較智能的話，集成度是比較關(guān)鍵的。比如10個(gè)突觸，現(xiàn)在每個(gè)的變化、離散性都會(huì)大幅度影響系統(tǒng)準(zhǔn)確率，如果芯片集成10億個(gè)器件，其實(shí)單個(gè)器件就不會(huì)有太大影響，這塊要找數(shù)學(xué)理論家合作，在理論上怎么證明器件的離散和整個(gè)網(wǎng)絡(luò)的準(zhǔn)確率的關(guān)系。

我剛才在聊天時(shí)已經(jīng)回答了，憶阻器陣列可以做乘加，電流需要轉(zhuǎn)化，總得來(lái)說(shuō)是需要的，但是如果每個(gè)陣列都做ADC轉(zhuǎn)化成本有點(diǎn)高，芯片里面時(shí)間其實(shí)是很快的，都是納秒級(jí)計(jì)算，比大腦快多了。更關(guān)鍵的是用了很多ADC導(dǎo)致芯片面積比較大，會(huì)導(dǎo)致它的能耗比較高，所以我覺得一部分可以做模擬信號(hào)傳遞，一部分可以做數(shù)字信號(hào)傳遞。這是回答這個(gè)問(wèn)題。

激活函數(shù)可以通過(guò)硬件實(shí)現(xiàn)，我們現(xiàn)在做的函數(shù)是用CMOS去做的，但是也有人單個(gè)器件去做激活函數(shù)的事情，用新的器件去做。但我們是要把它集成更大規(guī)模的芯片，所以我們用CMOS去做。

第三個(gè)問(wèn)題，跑完整的AlexNET還沒有跑，我們下個(gè)芯片會(huì)做這個(gè)事情。我們之前做的芯片集成度規(guī)模只有幾十萬(wàn)個(gè)規(guī)模，下一個(gè)芯片的規(guī)模是幾百萬(wàn)，再下個(gè)芯片達(dá)到更大規(guī)模，在幾百萬(wàn)里就可以跑AlexNET，目前討論結(jié)果還可以，但是還需要在芯片上跑出來(lái)。

第四個(gè)問(wèn)題，目前憶阻器，目前來(lái)講它的算法有乘法和加法，整個(gè)計(jì)算特別適合做矩陣計(jì)算，當(dāng)然要配合別的輸入輸出，還有存儲(chǔ)和編碼這都是需要的，而且硬件上來(lái)講，我的陣列是固定的，算法是千變?nèi)f化的，需要用編譯器或者算法支持去把千變?nèi)f化的Layer Breakdown到我的固定陣列上。

第五個(gè)問(wèn)題，關(guān)于存儲(chǔ)墻問(wèn)題，在探究提高存儲(chǔ)器存取速度以及傳輸上，到第6層就到頭了嗎？如果繼續(xù)增加層數(shù)，預(yù)期會(huì)有什么結(jié)果？新的存儲(chǔ)器也是可能會(huì)有的，比如現(xiàn)在新的MRAM和新的其他東西，它其實(shí)有它的優(yōu)點(diǎn)，和現(xiàn)在的DRAM比，其實(shí)DRAM是很快的，速度足夠快，最大的問(wèn)題是架構(gòu)上的問(wèn)題，再快比不過(guò)M…（02：24：52），小于1納秒，目前還沒有發(fā)現(xiàn)比它更快的存儲(chǔ)器更快的速度。

我剛才講的兩個(gè)瓶頸，速度慢、功耗大的問(wèn)題目前沒有找到非常好的芯片去解決它。

第九、有沒有人研究好奇心是如何產(chǎn)生的？機(jī)制有什么辦法度量它。

畢彥超：簡(jiǎn)單的答案，我自己不知道。傳統(tǒng)比較主流的認(rèn)知神經(jīng)科學(xué)上目前也沒有很好的回答。首先從嬰兒、兒童的研究上能夠看到，人們對(duì)心意的刺激有基本的生理性、直接性好奇。人各個(gè)方面對(duì)事情的答案有一個(gè)基本的好奇心。而且不光是在人身傷，貓也是很好奇的，對(duì)于生物體進(jìn)化過(guò)程當(dāng)中對(duì)于外部世界刺激的反應(yīng)，有可能是生存繁衍一個(gè)很重要的進(jìn)化的東西，所有的生物體是不是有一種比較基本的好奇心。是什么樣的時(shí)間范式，比如是不是僅僅對(duì)心意的刺激，一種是基本的好奇心，是不是一回事，怎么去實(shí)現(xiàn)，是不是有不同種類的好奇心，我自己不知道。

山世光：這是不是和神經(jīng)科學(xué)有一個(gè)理論相關(guān)，它的基本理論是說(shuō)對(duì)于外在世界什么東西會(huì)有一個(gè)預(yù)測(cè)，但如果實(shí)際刺激或者實(shí)際發(fā)生的事情和預(yù)測(cè)不吻合會(huì)有一個(gè)偏差，你會(huì)關(guān)注那個(gè)偏差。

畢彥超：如果要是觀察人們問(wèn)的好奇心的問(wèn)題，我得時(shí)刻關(guān)注外面的世界，進(jìn)行預(yù)測(cè)，才能實(shí)現(xiàn)實(shí)際有效的識(shí)別和交互，有可能有關(guān)系。但至少在認(rèn)知神經(jīng)科學(xué)里面，不會(huì)把它Label成好奇心，我覺得有可能是有關(guān)系。

第十、剛才提到多模態(tài)融合很感興趣，能不能介紹一下人腦是如何進(jìn)行多模態(tài)融合的？

吳思：多模態(tài)信息整合是我們大腦的一個(gè)基本功能。人為什么有五官？實(shí)際上它們是我們從不同的物理、化學(xué)和聲音等信號(hào)來(lái)感知這個(gè)外界世界，這些信號(hào)需要在大腦里有效地融合起來(lái)。從數(shù)學(xué)角度說(shuō)，多模態(tài)信息整合的最好算法是貝葉斯推理。有意思的是，行為上已經(jīng)證明大腦能做數(shù)學(xué)上優(yōu)化的貝葉斯多模態(tài)信息整合，在神經(jīng)數(shù)據(jù)上猴子實(shí)驗(yàn)也證明，在計(jì)算模型上也得到了驗(yàn)證。我們最近做一個(gè)模型工作來(lái)解釋其機(jī)理?；镜乃枷胧歉髂X區(qū)有分工，分別負(fù)責(zé)處理視覺信號(hào)、聽覺信號(hào)等，但同時(shí)這些腦區(qū)之間又有連接，這些連接編碼不同信號(hào)之間關(guān)聯(lián)的先見知識(shí)。這樣多個(gè)腦區(qū)間通過(guò)信息交流，最終以并行分布的方式實(shí)現(xiàn)了優(yōu)化的多模態(tài)信息整合。

第十一、關(guān)于兒童發(fā)展或者跨物種比較的研究來(lái)研究學(xué)習(xí)如何動(dòng)態(tài)塑造大腦神經(jīng)網(wǎng)絡(luò)的，比如小孩的大腦可能更接近全連接，后面逐漸被選擇性的消除掉一些連接。這樣一種模式對(duì)計(jì)算會(huì)不會(huì)有幫助？

畢彥超：首先有很多人關(guān)注這方面，至于對(duì)AI的借鑒的程度我不知道，我會(huì)覺得是一個(gè)寶藏。首先從嬰兒認(rèn)知的發(fā)展上，人們發(fā)現(xiàn)很多有趣的現(xiàn)象，比如機(jī)器學(xué)習(xí)一個(gè)詞很難，小孩在語(yǔ)言爆發(fā)期只要聽到一個(gè)詞一次就可以學(xué)會(huì)。但是在特定的情景下，發(fā)展心理學(xué)家已經(jīng)發(fā)現(xiàn)只有在特定的這種情景下小孩才學(xué)會(huì)，所以可以借鑒一下。對(duì)于人腦來(lái)說(shuō)，對(duì)于人類嬰兒的人腦非常難研究，因?yàn)槲覀儾幌胍杂袚p的方式研究嬰兒。最近隨著無(wú)損的神經(jīng)影像的發(fā)展才開始有一些特別基本的認(rèn)知，開始的時(shí)候相對(duì)全連接，其實(shí)通過(guò)分析早產(chǎn)兒的大腦，很快的先去發(fā)展初級(jí)的感覺運(yùn)動(dòng)皮層，但隨著后來(lái)的發(fā)展，網(wǎng)絡(luò)當(dāng)中的樞紐然后在其他的額頂更高級(jí)的網(wǎng)絡(luò)再慢慢發(fā)展了，這些也是最近兩年隨著神經(jīng)影像發(fā)展，人們才剛剛知道一點(diǎn)。所以可以關(guān)注，我不知道是不是動(dòng)物上已經(jīng)有很多很好借鑒的例子了。

第十二、突觸可塑性可以看成一種局部?jī)?yōu)化規(guī)則，大腦是如何進(jìn)行全局學(xué)習(xí)和調(diào)控的？

畢國(guó)強(qiáng)：這是一個(gè)很好的問(wèn)題，我剛才提到一點(diǎn)，我們研究學(xué)習(xí)或者可塑性，一方面是看突觸本身發(fā)生的變化，另一方面我們希望，實(shí)際上還沒有真正做到，就是在全局尺度上或者環(huán)路尺度上看這些可塑性是怎樣發(fā)生變化的。這也分多個(gè)層次，一是在全局上面，哪些突觸可以發(fā)生可塑性變化，這需要突觸前后神經(jīng)元的活動(dòng)，任何一個(gè)需要學(xué)習(xí)的內(nèi)容在整個(gè)網(wǎng)絡(luò)里面以不同的神經(jīng)元活動(dòng)表達(dá)出來(lái)的時(shí)候，就會(huì)有相應(yīng)的突觸發(fā)生變化。

另一方面，全局尺度上還有神經(jīng)調(diào)質(zhì)的作用，比如說(shuō)情緒或者是獎(jiǎng)勵(lì)的信號(hào)，受到獎(jiǎng)勵(lì)的時(shí)候大腦里多巴胺系統(tǒng)會(huì)對(duì)整個(gè)網(wǎng)絡(luò)有一個(gè)全面的調(diào)控。但調(diào)控具體影響還有待深入研究，但是一般來(lái)說(shuō)它可能讓在這段時(shí)間受到影響的突觸的可塑性變化更容易。這樣就在全局尺度上可以把很多突觸的變化協(xié)調(diào)起來(lái)。

第十三、信息專業(yè)的學(xué)生如果希望自己入門腦科學(xué)相關(guān)內(nèi)容，應(yīng)該從哪里入手？

吳華強(qiáng)：可能找一本比較好的教科書，我當(dāng)年自己入門的時(shí)候我是讀一本《從神經(jīng)元到腦》，當(dāng)然還有很多其他的教科書。讀的時(shí)候你會(huì)碰到很多名詞，你可能不太清楚，現(xiàn)在網(wǎng)上資源這么多，可以很容易的幫助你查。另一方面，有一些不懂的東西你先擱在那兒，看影響不影響你理解全局，然后先把可以理解的東西理解了。另外，一些計(jì)算神經(jīng)科學(xué)的教科書里面大部分是數(shù)學(xué)語(yǔ)言，同時(shí)又介紹一些神經(jīng)科學(xué)的基礎(chǔ)以及模擬的方法，這是另一個(gè)比較好的途徑。但我知道的書都比較偏深偏細(xì)，不知道吳思有沒有更好的建議。

吳思：最好能進(jìn)到一個(gè)課題組，多聽報(bào)告，參與做具體的課題，這樣才更有效。如果光看書，剛開始堅(jiān)持一個(gè)月還可以，你能堅(jiān)持一年嗎？而且你學(xué)的東西得不到應(yīng)用，你可能很沮喪，你可能就放棄了。所以找一個(gè)合作課題是最佳的。

山世光：我一直在建議未來(lái)論壇青創(chuàng)聯(lián)盟我們搞一個(gè)獎(jiǎng)學(xué)金，能夠鼓勵(lì)一些信息科學(xué)或者腦科學(xué)的人互相進(jìn)入對(duì)方，然后給他們提供支持，當(dāng)然這也很難。

畢國(guó)強(qiáng)：這是非常好的辦法。我原來(lái)在的匹茲堡大學(xué)和CMU有一個(gè)聯(lián)合的CNBC Program，就是試圖把實(shí)驗(yàn)神經(jīng)生物學(xué)和計(jì)算神經(jīng)科學(xué)和計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室都聯(lián)合到一起，學(xué)生拿到CNBC的獎(jiǎng)學(xué)金，如果他屬于計(jì)算實(shí)驗(yàn)室的他需要到一個(gè)生物實(shí)驗(yàn)室去做一個(gè)學(xué)期或者更長(zhǎng)時(shí)間，反過(guò)來(lái)也是一樣。當(dāng)然對(duì)每個(gè)人，我還是要強(qiáng)調(diào)每個(gè)人的效果不同，最終還是要看個(gè)人的堅(jiān)持，你有多強(qiáng)烈的興趣和你想花多大的力氣。

剛才我提到花雙倍的力氣，很多人就有雙倍的力氣，這些人可能就適合做這件事情。

山世光：而且雙倍的力氣可能只是在開始。

唐華錦：確實(shí)建議很好，要放在一個(gè)具體團(tuán)隊(duì)或者項(xiàng)目里去做，一個(gè)是提升你的成就感，也不會(huì)學(xué)了一年之后感到很沮喪。中科院這一點(diǎn)做的很好，你們的“腦中心”甚至強(qiáng)制要求人工智能和神經(jīng)科學(xué)蹲點(diǎn)。還有浙大，“雙腦”中心也是強(qiáng)調(diào)人工智能和神經(jīng)科學(xué)在一塊兒在一個(gè)團(tuán)隊(duì)，至少你要找兩個(gè)這樣的導(dǎo)師，然后去做這方面的工作，效果會(huì)很好。

吳思：計(jì)算神經(jīng)科學(xué)的教材，網(wǎng)上有“cosya”（音）課程很好。我看觀眾提問(wèn)中已經(jīng)提到這一點(diǎn)。

畢彥超：跨學(xué)科交叉非常有趣，我建議一定要有一個(gè)自己的Base，某個(gè)方面要學(xué)透學(xué)的特別好才有能力去交叉學(xué)科去深入，要不特別容易飄在表面上。

山世光：從點(diǎn)到線再到面，不能上來(lái)就到面。

第十四、樹突需要Synapse一樣來(lái)訓(xùn)練嗎？像突觸一樣來(lái)訓(xùn)練嗎？

吳華強(qiáng)：這個(gè)問(wèn)題非常好，我自己感覺從實(shí)物上來(lái)講，它樹突也是被訓(xùn)練過(guò)的，這個(gè)應(yīng)該需要。但是我們現(xiàn)在的工作還沒有做到那一步，怎么做還得琢磨琢磨。這個(gè)問(wèn)題提的非常好，從思路和算法上都可以思考這個(gè)問(wèn)題。

第十五、腦科學(xué)領(lǐng)域?qū)ΤＷR(shí)的研究，有哪些資料可以推薦？

畢彥超：看我們組的文章。我們剛剛有一篇文章要在Neural出來(lái)，是一個(gè)特別簡(jiǎn)單，但我自己很喜歡的工作，就是第一次有直接的證據(jù)，通過(guò)看盲人顏色的知識(shí)，在人身上發(fā)現(xiàn)有兩種不同的知識(shí)表征。馬上就出來(lái)，我推薦給大家。

山世光：請(qǐng)教各位專家人腦中是否存在誤差反向傳播？

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。