高能效類腦智能：算法與體系架構（簡體書）

1987年，我在伊利諾伊大學攻讀博士學位時，有一個難得的機會去聽加州理工學院的John Hopfield教授給厄巴納香檳分校魯姆斯物理實驗室的學生講述他在神經網絡上的開創性研究。他繪聲繪色地講述了如何設計和制作一個循環神經網絡芯片來快速解決基準旅行商問題（TSP）。TSP是指：當TSP中的城市數量增加到一個非常大的數目時，沒有物理計算機能夠在漸近有界的多項式時間內解決這個問題，從這個意義上說，TSP是一個可證明的NP完全問題。
神經網絡領域的一個重要裡程碑是，發現了可以解決復雜組合問題的硬件算法，因為現有的感知器型前饋神經網絡技術只能對有限的簡單模式進行分類。盡管如此，神經計算的創始人——康奈爾大學的Frank Rosenblatt教授在20世紀50年代末建造了一臺感知計算機，當時諸如IBM 650這樣的第一波數字計算機剛剛商業化。後續的神經硬件設計進展受阻，主要是由於當時的技術（包括真空管、繼電器和無源元件如電阻、電容和電感等）不具備集成實現大型突觸網絡的能力。1985年，美國貝爾實驗室利用MOS技術制造出第一個固態電子晶體芯片，在概念上驗證了John Hopfield教授解決TSP的神經網絡架構，從而為在硅片上解決非布爾型計算和類腦計算開辟了道路。
John Hopfield教授的開創性工作表明，如果組合算法中的目標函數可以用二次型表示，循環神經網絡中的突觸連接可以相應地通過將大量神經元的連接進行編程來降低目標函數的值(即局部最小值)。Hopfield的神經網絡由橫向連接的神經元組成，這些神經元可以被隨機初始化。隨後，該網絡可以迭代地減少網絡固有的Lyapunov能量函數值，使其達到局部最小狀態。值得注意的是，Lyapunov函數在循環神經網絡的動態作用下呈單調下降，神經元不具有自反饋。

在Mazumder和Yih的著作中[1]，我們證明了Hopfield網絡所獲得的解的質量可以通過選擇性地提供自反饋使神經元遠離局部最小值而得到顯著改善。這種方法類似於梯度下降搜索中的爬坡，通常會陷入局部最小點。由於神經元的自反饋會影響Hopfield神經網絡的穩定性，所以在網絡收斂到局部最小狀態之前，我們沒有對神經元施加任何自反饋。然後，通過爬坡機制提高網絡的能量，將網絡從局部最小值中拉出。我們在上述文章中表明，通過使用這項創新技術，芯片修復提高約25％，改善了VLSI存儲器的良率。

Hopfield教授使用四個獨立二次函數的組合來表示TSP的目標函數。目標函數的第一部分確保若旅行商恰好一次穿越城市則能量函數最小；第二部分確保旅行商訪問行程中的所有城市；第三部分確保不同時訪問兩個城市；第四部分確定連接TSP中所有城市的最短路徑。因為神經元之間通過連接的突觸有大量的同步交互作用，這些突觸被精確地調整以滿足上述二次函數的約束，所以簡單的循環神經網絡可以迅速生成質量非常好的解。然而神經網絡由於其簡單的連接結構，與經過良好測試的軟件處理（例如模擬退火、動態規劃和分支定界算法）不同，它通常無法找到最佳解決方案。
在聽了Hopfield教授的精彩演講之後，我對他這種創新的感觸頗深。一方面，我很高興地從他的演講中了解到，通過使用具有非常小的硬件開銷的簡單神經形態CMOS電路，可以快速地解決計算上困難的算法問題。另一方面，我認為Hopfield教授為了證明神經網絡解決組合優化問題的能力而選擇的TSP應用程序並不合適，因為精心設計的軟件算法，可以獲得神經網絡幾乎無法得到的最佳解決方案。我開始考慮開發可自愈的超大規模集成電路（VLSI）芯片，利用受神經網絡啟發的自修復算法的力量來自動重組有缺陷的VLSI芯片。低開銷和通過神經元之間的並行交互同時解決問題的能力是兩點顯著的特性，可以用來巧妙地通過內置的神經網絡電路來自動修復VLSI芯片。
不久之後，我作為助理教授來到密歇根大學，與我的一個博士生\[2\]一起工作，起初，我們設計了一款具有異步狀態更新的CMOS模擬神經網絡電路，因晶元內部工藝變化等因素導致這個芯片魯棒性不夠好。為了提高自修復電路工作的可靠性，我和一名理科碩士\[3\]設計了一個同步狀態更新的數字神經網絡電路。這些神經網絡電路通過在二分圖中尋找節點覆蓋、邊覆蓋或節點對匹配來確定修復問題，從而能夠用於修復VLSI芯片。在我們的圖的形式體系中，二分圖中的一組頂點表示故障電路元件，另一組頂點表示備用電路元件。為了將故障VLSI芯片改造成無故障的可操作芯片，在通過嵌入式內置自檢電路識別出故障元件之後，再通過可編程開關元件自動調用備用電路元件。
最重要的是，與TSP一樣，二維數組修復可以證明是一個NP完全問題，因為修復算法尋找最優的多餘的行、列數，它們可以被分配以繞過故障組件（比如記憶細胞、字線和位線驅動），以及位於存儲器陣列內部的讀出放大器隊列。因此，由計數器和其他塊組成的簡單數字電路無法解決這種棘手的自修復問題。值得注意的是，由於無法部署VLSI芯片的輸入和輸出引腳來查詢深度內嵌的嵌入式陣列中的故障模式，因此無法使用外部數字計算機來確定如何修復嵌入式陣列。
在1989年和1992年，我獲得了美國國家科學基金會的兩項資助，將神經形態自愈設計風格擴展到更廣泛的嵌入式VLSI模塊，如內存陣列\[4\]、處理器陣列\[5\]、可編程邏輯陣列\[6\]等。但是，這種通過內置的自檢和自修復提高VLSI芯片產量的方法比VLSI芯片應用的時代早了一點，因為在20世紀90年代初期，最先進的微處理器僅包含數十萬個晶體管。因此，在開發了基於神經網絡的自愈VLSI芯片設計方法以用於各種類型的嵌入式電路模塊之後，我停止了對CMOS神經網絡的研究。我對神經網絡應用於其他類型的工程問題並不是特別感興趣，因為我想繼續專注於解決VLSI研究中出現的問題。
另外，在20世紀80年代末，CMOS技術的預言者越來越擔心，即將到來的紅磚墻效應預示著CMOS縮小時代的結束。因此，為了促進幾種可能推動VLSI技術前沿的新興技術，美國國防部高級研究計劃局（DARPA）在1990年左右啟動了“超電子：超密集、超快速計算元件研究計劃”。與此同時，日本的國際貿易工業部（MITI）推出了量子功能器件（QFD）項目。這兩個研究項目早期的成功與大量的創新non-CMOS技術推動了美國國家納米技術項目（NNI）的創建，這是一個美國政府研究和開發（R&D）計劃，包括20個部門和獨立機構，將帶來納米技術的革命，從而影響整個行業和社會。
在1995年到2010年期間，我的課題組最初專注於基於量子物理的器件和量子隧穿器件的電路建模，然後我們廣泛研究了基於一維（雙障礙共振隧穿器件）、二維（自組裝納米線）和三維（量子點陣列）受限量子設備的細胞神經網絡（CNN）圖像和視頻處理電路。隨後，我們使用電阻突觸裝置（通常稱為憶阻器）和CMOS神經元開發了基於學習的神經網絡電路。通過在二維處理元件（PE）集成的計算節點中混合量子隧穿和記憶器件，我們還開發了模擬電壓可編程納米計算體系結構。我們對納米神經形態電路的研究發表在我們的新書Neuromorphic Circuits for Nanoscale Devices中，由英國River出版社在2019年出版。
在用各種新興納米電子和自旋電子器件開發了十多年的神經形態電路之後，我決定開始研究基於學習的數字VLSI神經形態芯片，在亞閾值和超閾值兩種操作模式中使用納米CMOS技術。我的學生和這本書的合著者Nan Zheng博士，完成了有關數字神經網絡的體系結構和算法的博士學位論文。我們從機器學習和生物學習的角度出發，設計和制造了基於TSMC 65nm CMOS技術的高效節能VLSI芯片。
我們從機器學習的角度捕獲了演員評論家類型的強化學習（RL）\[7\]和一個采用離線策略更新的時間差（TD）學習示例，稱為VLSI芯片上的Q學習\[8\]。此外，我們還捕捉到生物無監督學習應用中常用的基於脈衝相關的突觸可塑性。我們還制定了硬件友好的基於脈衝時間依賴可塑性（STDP）學習規則\[9\]，在修改後的MNIST數據庫基準上，單隱藏層和雙隱藏層神經網絡的分類正確率分別為97.2%和97.8%。硬件友好的學習規則支持高效節能的硬件設計\[10\]以及對與芯片制造\[11\]相關的過程電壓溫度（PVT）變化的魯棒實現。通過仿真RL軟件程序的核心——自適應動態規劃（ADP），證明了用於演員評論家網絡的硬件加速器VLSI芯片可解決一些控制理論基準問題。此外，與在通用處理器上運行的傳統軟件強化學習相比，在175MHz下運行的VLSI芯片加速器在計算時間上縮短了兩個數量級，同時只消耗了25mW[12]。
圖1中的芯片布局圖包含了大量使用CMOS技術的數字神經網絡芯片的樣本，這是我的研究小組在過去35年中設計的。圖1的左欄是1991年設計的一個自愈芯片，通過在一個二分圖上運行節點覆蓋算法來自動修復有缺陷的VLSI內存陣列，二分圖代表有缺陷的組件集和可用的備用電路元件。2013年設計的STDP芯片，用於控制虛擬昆蟲從初始起點到預定目的地的運動，避免了在一組任意形狀的阻塞空間中導航時的碰撞。前一段描述的深度學習芯片是2016年設計的。
圖1的右欄為2016年設計的RL芯片。其中還包括兩個超低功耗（ULP）CMOS芯片，利用亞閾值技術，用於可穿戴的醫療保健應用。在其中一個應用中，利用神經網絡的Kohonen的自組織映射（SOM）對心電圖（ECG）波形進行分類，設計了一種帶有無線收發器的人體傳感網絡，利用可植入的多極傳感器對模擬神經元信號進行感知，並通過內置的喚醒收發器向醫生提供數字化數據，幫助醫生對精神分裂癥、慢性抑鬱癥、阿爾茨海默病等腦相關疾病中神經元和突觸層面上對藥物的療效進行監測。
最初，當我們決定以CMOS類腦計算的神經形態芯片的形式出版一本強調我們工作的專著時，我們想要匯總在前言中引用的論文的各種結果，從而構成這本書的內容。但是，在準備手稿的過程中，我們修改了最初較狹隘的目標，因為在常規課程中采用本書來向大學生和研究生講授具有學習能力的最新一代神經網絡將是有局限性的。

圖　1
後來我們決定寫一本全面的關於具有各種學習能力的神經網絡高能效硬件設計的書，討論正在進行的神經硬件的擴展研究。這顯然是一項艱巨的任務，需要仔細研究數百個參考文獻的存檔來源，描述能夠學習執行各種任務的硬件神經網絡的協同設計和協同優化方法。我們試圖提供一個全面的視角，從高級算法到低級硬件實現細節，涵蓋神經網絡的許多基礎和要素（如深度學習），以及神經網絡的硬件實現。簡而言之，本書目前的版本有以下幾個顯著特點：
●包括神經形態算法硬件加速器的多層次全面評述。
●涵蓋架構與算法的協同設計，並采用新興器件來極大地提升計算效率。
●關注算法與硬件的協同設計，這是在神經形態計算中應用新興器件（如傳統憶阻器和擴散型憶阻器）的關鍵。
最後，由於完成這本書有嚴格的時間限制，所以本書目前的版本沒有像教科書那樣以教學的方式描述教學材料，在每一章的結尾也沒有習題。在收集了來自學生、教師、實踐工程師和其他讀者的寶貴反饋後，這些目標有望在下一版中實現。如果你能提供正面和負面的指導性反饋，我將非常感激，這將使我能夠準備本書的第2版。

譯者序
前言
致謝
第1章　概述1
　1.1　神經網絡的歷史1
　1.2　軟件中的神經網絡2
1.2.1　人工神經網絡2
1.2.2　脈衝神經網絡2
　1.3　神經形態硬件的需求3
　1.4　本書的目標和大綱4
　參考文獻6
第2章　人工神經網絡的基礎與學習9
　2.1　人工神經網絡的工作原理9
2.1.1　推理9
2.1.2　學習10
　2.2　基於神經網絡的機器學習13
2.2.1　監督學習13
2.2.2　強化學習15
2.2.3　無監督學習17
2.2.4　案例研究：基於動作的啟發式動態規劃18
　2.3　網絡拓撲24
2.3.1　全連接神經網絡24
2.3.2　卷積神經網絡25
2.3.3　循環神經網絡27
　2.4　數據集和基準29
　2.5　深度學習31
2.5.1　前深度學習時代31
2.5.2　深度學習的崛起31
2.5.3　深度學習技術32
2.5.4　深度神經網絡示例38
　參考文獻40
第3章　硬件中的人工神經網絡47
　3.1　概述47
　3.2　通用處理器48
　3.3　數字加速器48
3.3.1　數字ASIC實現方法48
3.3.2　FPGA加速器61
　3.4　模擬/混合信號加速器62
3.4.1　傳統集成技術中的神經網絡62
3.4.2　基於新興非易失性存儲器的神經網絡68
3.4.3　光學加速器71
　3.5　案例研究：一種節能的自適應動態規劃加速器的程序設計72
3.5.1　硬件架構73
3.5.2　設計示例78
　參考文獻82
第4章　脈衝神經網絡的工作原理與學習92
　4.1　脈衝神經網絡92
4.1.1　常見的脈衝神經元模型92
4.1.2　信息編碼94
4.1.3　脈衝神經元與非脈衝神經元的比較95
　4.2　淺層SNN的學習96
4.2.1　ReSuMe96
4.2.2　Tempotron97
4.2.3　脈衝時間相關可塑性98
4.2.4　雙層神經網絡中通過調制權重依賴的STDP進行學習的方法101
　4.3　深度SNN學習113
4.3.1　SpikeProp113
4.3.2　淺層網絡棧113
4.3.3　ANN的轉換115
4.3.4　深度SNN反向傳播的研究進展116
4.3.5　在多層神經網絡中通過調制權重依賴的STDP進行學習的方法116
　參考文獻128
第5章　脈衝神經網絡的硬件實現133
　5.1　對專用硬件的需求133
5.1.1　地址事件表示133
5.1.2　事件驅動計算134
5.1.3　漸進精度推理134
5.1.4　實現權重依賴的STDP學習規則的硬件注意事項138
　5.2　數字脈衝神經網絡142
5.2.1　大規模脈衝神經網絡專用集成電路142
5.2.2　中小型數字脈衝神經網絡147
5.2.3　脈衝神經網絡中的硬件友好型強化學習149
5.2.4　多層脈衝神經網絡中的硬件友好型監督學習153
　5.3　模擬/混合信號脈衝神經網絡161
5.3.1　基本構建塊161
5.3.2　大規模模擬/混合信號CMOS脈衝神經網絡163
5.3.3　其他模擬/混合信號CMOS脈衝神經網絡專用集成電路166
5.3.4　基於新興納米技術的脈衝神經網絡166
5.3.5　案例研究：脈衝神經網絡中基於憶阻器交叉開關的學習169
　參考文獻183
第6章　總結190
　6.1　展望190
6.1.1　腦啟發式計算190
6.1.2　新興的納米技術191
6.1.3　神經形態系統的可靠計算192
6.1.4　人工神經網絡和脈衝神經網絡的融合193
　6.2　結論194
　參考文獻194
附錄197
術語表205

譯者序

以“舊神退散，新神未立”來形容近年來計算架構領域的發展的確很形象，2017年計算機圖靈獎的兩名得主David Patterson和John L.Hennessy在一篇文章中也曾給出類似判斷，即“未來十年是計算架構發展的黃金十年”。神經形態計算便被認為是計算架構創新的“新神”之一。這本由Zheng和Mazumder撰寫的書即是對這個“新神”的引薦。

人工智能作為當前的研究熱點，受到國內外學術界和工業界的追捧，而且很多成熟的產品已經落地。目前所用的人工智能算法主要集中在深度神經網絡上，即第二代神經網絡。該網絡結構雖然效果好，但是功耗大，難以應用在一些移動設備上，且很難充分模仿人腦的智能性。而神經形態計算作為第三代人工神經網絡，可以充分模擬大腦的低功耗計算特點，作為人工智能以及腦科學的交叉研究領域，具有很大的研究前景。

本書重點討論如何為具有學習能力的神經網絡構建節能硬件，致力於構建具有學習與執行各種任務的能力的硬件神經網絡，提供協同設計和協同優化方法，並提供了從高層算法到底層實現細節的完整視圖。開發硬件友好算法的目的是簡化硬件實現，而特殊的硬件體系結構的提出則是為了更好地利用算法的獨特功能。在本書的各章中，討論了用於節能型神經網絡加速器的算法和硬件體系結構。低功耗對於所有將功耗作為重要考慮因素的應用而言至關重要，使用耗電的GPU和將原始數據發送到可以進一步分析數據的云計算機都不是可行的選擇。

作為一本介紹神經形態計算算法和硬件設計思想的書，本書不僅是信息學科、軟件工程等學科的基本教材(或參考書)，更是可以帶領零基礎的人進入神經形態計算領域的引路石。在內容的介紹上，本書循序漸進，深入淺出，展示了當前人工智能的算法，並逐步引入神經形態的智能算法當中，再介紹關於神經形態算法硬件實現的設計思路。本書的一大特色是關注基於新興器件的神經形態計算的架構設計，探討新興器件帶來的設計問題及其解決思路。本書附帶了一些案例供讀者學習，覆蓋了書中所涉及領域的眾多代表性工作。雖然本書不可能完全展示當前的神經形態計算算法和硬件設計中的所有技術細節，但是可以對初入該領域的技術人員提供一個較為完整的認識和強有力的幫助。

本書的內容廣泛，包括人工智能的前沿與新興工藝技術，為了盡可能地翻譯準確，我們得到了上海交通大學類腦智能應用技術研究中心全體師生的大力支持，特別是得到了耿相銘老師的幫助與指正。同時也十分感謝楊石玉、朱肖光、陳發全、耿豪、宋揚、尹樹雨、計星武、程宇豪、潘敏婷等同學在校對過程中給予的幫助，他們的幫助使本書翻譯工作得以順利完成。

最後，本書雖然經過仔細校對，但限於譯者自身的水平及經驗，譯文可能還存在不足，非常期待大家指正，以便之後進一步完善。

劉佩林

2020年於上海