“神經(jīng)形態(tài)”一詞是希臘語“neuro”（與神經(jīng)或大腦有關(guān)）和“morphic”（與形式或結(jié)構(gòu)有關(guān)）的合成詞。

因此，“神經(jīng)形態(tài)”的字面意思是“以大腦的形式”。反過來，“神經(jīng)形態(tài)計(jì)算”是指受人腦功能啟發(fā)的電子系統(tǒng)。神經(jīng)形態(tài)芯片不像傳統(tǒng)計(jì)算機(jī)那樣逐步處理數(shù)據(jù)，而是試圖模仿神經(jīng)元和突觸的通信方式——利用電活動(dòng)的峰值、大規(guī)模并行性和事件驅(qū)動(dòng)的作。

本專欄的重點(diǎn)是硬件加速器知識(shí)產(chǎn)權(quán) （IP） 功能，特別是神經(jīng)處理單元 （NPU），設(shè)計(jì)人員可以將其集成到其片上系統(tǒng) （SoC） 設(shè)備中。一些 SoC 開發(fā)人員使用第三方 NPU IP，而另一些開發(fā)人員則在內(nèi)部開發(fā)自己的 IP。

我剛剛與 BrainChip 的首席營(yíng)銷官 Steve Brightfield 聊天。您可能還記得，BrainChip 的名氣在于其 Akida AI 加速處理器 IP，其靈感來自人腦的認(rèn)知能力和能源效率。Akida 在邊緣提供低功耗、實(shí)時(shí)的 AI 處理，利用神經(jīng)形態(tài)原理用于視覺、音頻和傳感器融合等應(yīng)用。

絕大多數(shù) NPU IP 使用大型乘法累加 （MAC） 單元陣列加速人工神經(jīng)網(wǎng)絡(luò) （ANN）。這些密集的矩陣-向量運(yùn)算非常耗能，因?yàn)槊總€(gè)神經(jīng)元都參與了每一次計(jì)算，并且硬件必須在內(nèi)存和 MAC 陣列之間移動(dòng)大量數(shù)據(jù)。

相比之下，Akida 采用了基于尖峰神經(jīng)網(wǎng)絡(luò) （SNN） 的神經(jīng)形態(tài)架構(gòu)。秋田的神經(jīng)元不會(huì)不斷計(jì)算加權(quán)和;相反，它們只有在內(nèi)部“膜電位”超過閾值時(shí)才交換尖峰（短暫的數(shù)字脈沖）。這使得 Akida 成為事件驅(qū)動(dòng)的;也就是說，只有當(dāng)有新信息可供處理時(shí)才會(huì)進(jìn)行計(jì)算。

與傳統(tǒng) NPU 中的通用 MAC 陣列相比，Akida 利用突觸核在尖峰到達(dá)時(shí)執(zhí)行加權(quán)事件累積。每個(gè)突觸都保持較小的局部權(quán)重，并在接收到尖峰時(shí)增加其對(duì)神經(jīng)元膜電位的貢獻(xiàn)。這實(shí)現(xiàn)了與乘累積相同的效果，但以一種稀疏、異步和節(jié)能的方式，更類似于生物大腦。

Akida 自帶 AI 加速處理器 IP（圖源：BrainChip）

根據(jù) BrainChip 的網(wǎng)站，Akida 獨(dú)立式 AI 神經(jīng)處理器 IP 具有以下特點(diǎn)：

• 1 到 128 個(gè)節(jié)點(diǎn)的可擴(kuò)展結(jié)構(gòu)

• 每個(gè)神經(jīng)節(jié)點(diǎn)支持 128 個(gè) MAC

• 每個(gè)節(jié)點(diǎn)可配置 50K 至 130K 嵌入式本地 SRAM

• 用于所有內(nèi)存和模型作的 DMA

• 無需主機(jī) CPU 的多層執(zhí)行

• 與任何微控制器或應(yīng)用處理器集成

• 高效的算法網(wǎng)格

堅(jiān)持！ 我剛剛告訴過你，“與傳統(tǒng) NPU 中的通用 MAC 陣列相比，Akida 使用突觸核......”因此，看到 BrainChip 的人們?cè)谒麄兊木W(wǎng)站上引用 MAC 有點(diǎn)尷尬。問題是，就 Akida 而言，術(shù)語“MAC”的使用有些松散——更像是一種工程簡(jiǎn)寫，而不是像傳統(tǒng) GPU 和 NPU 中那樣的字面同步乘法累加單位。

雖然每個(gè) Akida 神經(jīng)節(jié)點(diǎn)都包含可以執(zhí)行乘累作的硬件，但這些作是事件驅(qū)動(dòng)的并且很少激活。當(dāng)輸入尖峰到達(dá)時(shí)，只有該節(jié)點(diǎn)中的相關(guān)突觸和神經(jīng)元執(zhí)行少量加權(quán)累積——后臺(tái)沒有連續(xù)的時(shí)鐘矩陣乘法。

因此，雖然 BrainChip 的文檔稱它們?yōu)椤癕AC”，但它們實(shí)際上是作為神經(jīng)形態(tài)突觸處理器實(shí)現(xiàn)的，當(dāng)尖峰觸發(fā)時(shí)，其行為類似于 MAC，否則保持空閑狀態(tài)。這就是 Akida 實(shí)現(xiàn)比傳統(tǒng) NPU 低幾個(gè)數(shù)量級(jí)的功耗的原因，盡管原則上執(zhí)行類似的數(shù)學(xué)運(yùn)算。

另一種思考方式是，傳統(tǒng)的 MAC 陣列連續(xù)處理數(shù)字，每個(gè)神經(jīng)元都參與每個(gè)周期。相比之下，Akida 節(jié)點(diǎn)的神經(jīng)形態(tài)突觸處于休眠狀態(tài)，只有在尖峰到達(dá)時(shí)才會(huì)開始行動(dòng)，在本地執(zhí)行數(shù)學(xué)運(yùn)算，然后再次安靜下來。如果我是詩意的，我可能會(huì)想在這個(gè)節(jié)骨眼上說一些精辟的話，比如“比起熔爐更像螢火蟲”，但我不是，所以我不會(huì)。

但是等等，還有更多，因?yàn)?Akida 處理器 IP 使用稀疏性來專注于最重要的數(shù)據(jù)，從本質(zhì)上避免不必要的計(jì)算并在每一步都節(jié)省能源。同時(shí)，BrainChip 的神經(jīng)網(wǎng)絡(luò)模型被稱為基于時(shí)間事件的神經(jīng)網(wǎng)絡(luò) （TENN），它建立在狀態(tài)空間模型架構(gòu)之上，以跟蹤隨時(shí)間變化的事件，而不是以固定的時(shí)間間隔進(jìn)行采樣，從而跳過沒有變化的時(shí)期以節(jié)省能量和內(nèi)存。這些小 scamp 共同為實(shí)時(shí) AI 提供了無與倫比的效率。

Akida 神經(jīng)處理器 + TENNs 模型 = 很棒（來源：BrainChip）

這里的游戲名稱是“稀疏”。我們談?wù)摰氖窍∈钄?shù)據(jù)（流式輸入在硬件級(jí)別轉(zhuǎn)換為事件，在處理開始前將數(shù)據(jù)量減少多達(dá) 10 倍）、稀疏權(quán)重（修剪和壓縮不必要的權(quán)重，將模型大小和計(jì)算需求減少多達(dá) 10 倍）和稀疏激活（只有基本的激活函數(shù)將數(shù)據(jù)傳遞到下一層， 將下游計(jì)算減少多達(dá) 10 倍）。

由于傳統(tǒng)的 CNN 在每個(gè)時(shí)間步都會(huì)激活每個(gè)神經(jīng)層，因此即使沒有任何變化，它們也可以消耗瓦特的功率來處理完整的數(shù)據(jù)流。相比之下，Akida 只處理有意義的信息這一事實(shí)使得實(shí)時(shí)流式 AI 能夠以毫瓦的功率連續(xù)運(yùn)行，從而可以在可穿戴設(shè)備、傳感器和其他電池供電的設(shè)備中部署始終在線的智能。

當(dāng)然，沒有什么是容易的（“如果這很容易，每個(gè)人都會(huì)這樣做”，正如他們所說）。對(duì)于希望使用神經(jīng)形態(tài)計(jì)算的人來說，一個(gè)重大挑戰(zhàn)是尖峰網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不同。這就是 BrainChip 的人們提供 CNN 到 SNN 轉(zhuǎn)換器的原因。這意味著開發(fā)人員可以從傳統(tǒng)的 CNN（他們可能已經(jīng)擁有）開始，然后將其轉(zhuǎn)換為 SNN 以在 Akida 上運(yùn)行。

像往常一樣，這個(gè)洋蔥的層數(shù)比你最初想象的要多。例如，考慮一下 BrainChip 與 Prophesee 的合作。 這是兩種技術(shù)結(jié)合在一起的罕見情況之一，就好像它們一直在等待對(duì)方一樣。

Prophesee 的基于事件的相機(jī)不會(huì)以固定的時(shí)間間隔捕捉傳統(tǒng)幀;相反，每個(gè)像素每當(dāng)檢測(cè)到光強(qiáng)度變化時(shí)都會(huì)生成一個(gè)尖峰。換句話說，輸出本質(zhì)上已經(jīng)是神經(jīng)形態(tài)的——稀疏的異步事件（“尖峰”）的連續(xù)流，而不是密集的視頻幀。

這使其成為 BrainChip 的 Akida 處理器的完美伴侶，該處理器本身就是一個(gè)尖峰神經(jīng)網(wǎng)絡(luò)。雖然傳統(tǒng)相機(jī)必須轉(zhuǎn)換為尖峰形式來饋送 SNN，并且 Prophesee 通常必須“去尖峰”其輸出才能饋送傳統(tǒng)的卷積網(wǎng)絡(luò)，但 Akida 和 Prophesee 可以直接連接——尖峰到尖峰，神經(jīng)元到神經(jīng)元——中間沒有格式體或耗電的幀緩沖。

這種基于峰值的原生協(xié)同作用在功耗和延遲方面得到了豐厚的回報(bào)。正如 BrainChip 的工程師所說，“我們以千比特每秒而不是兆比特每秒的速度工作。由于 Prophesee 傳感器僅在發(fā)生變化時(shí)傳輸信息，而 Akida 僅在峰值到達(dá)時(shí)進(jìn)行計(jì)算，因此整個(gè)系統(tǒng)的功耗僅為毫瓦，而傳統(tǒng)視覺系統(tǒng)所需的功耗僅為數(shù)十毫瓦。

這種差異在智能手機(jī)中可能并不重要，但對(duì)于 AR/VR 眼鏡來說卻至關(guān)重要，因?yàn)?AR/VR 眼鏡的電池大小是手機(jī)的十分之一甚至二十分之一。通過消除在幀和尖峰之間轉(zhuǎn)換的需要，并避免幀存儲(chǔ)、緩沖和傳輸?shù)哪茉闯杀?，BrainChip 和 Prophesee 有效地構(gòu)建了一個(gè)神經(jīng)形態(tài)的端到端視覺管道，反映了生物眼睛和大腦的實(shí)際工作方式：始終在線，始終響應(yīng)，但消耗功率而不是吞噬它。

再舉一個(gè)例子，我最近聽說 BrainChip 和 HaiLa Technologies 合作展示了當(dāng)類腦計(jì)算與超高效無線連接相遇時(shí)會(huì)發(fā)生什么。他們制作了一個(gè)演示，將 BrainChip 的 Akida 神經(jīng)形態(tài)處理器與 HaiLa 的 BSC2000 反向散射 RFIC 配對(duì)，這是一種兼容 Wi-Fi 的芯片，通過反射現(xiàn)有無線電信號(hào)而不是生成自己的無線電信號(hào)進(jìn)行通信（我計(jì)劃在未來的專欄中專門討論這項(xiàng)技術(shù)）。其結(jié)果是一個(gè)獨(dú)立的邊緣 AI 平臺(tái)，可以執(zhí)行連續(xù)傳感、異常檢測(cè)和狀態(tài)監(jiān)測(cè)，同時(shí)消耗的功率僅為微瓦，足夠小，可以在單個(gè)紐扣電池上運(yùn)行連接的傳感器的整個(gè)生命周期。

此次合作突出了一種新型智能、無電池邊緣設(shè)備，其中傳感、處理和通信都針對(duì)能效進(jìn)行了優(yōu)化。Akida 的事件驅(qū)動(dòng)架構(gòu)僅處理重要的尖峰，而 HaiLa 的無源反向散射鏈路消除了無線電的大部分能源成本。它們共同支持始終在線的本地智能物聯(lián)網(wǎng)節(jié)點(diǎn)，非常適合醫(yī)療、環(huán)境和基礎(chǔ)設(shè)施監(jiān)控，在這些地方更換電池成本高昂、不切實(shí)際或完全不可能。簡(jiǎn)而言之，BrainChip 和 HaiLa 正在為下一波超低功耗邊緣 AI 系統(tǒng)勾勒藍(lán)圖，這些系統(tǒng)在說話之前三思而后行，并且以驚人的效率做到這兩點(diǎn)。

遺憾的是，以上都不是我想和你談的（別再呻吟了——值得一讀）。我最初打算告訴你的是新推出的 Akida Cloud（想象一下一卷鼓和一團(tuán)長(zhǎng)號(hào)）。

現(xiàn)有的 Akida 1 受到市場(chǎng)的極好評(píng)，支持 4 位、2 位和 1 位權(quán)重和激活。下一代 Akida 2 預(yù)計(jì)將在不久的將來向開發(fā)人員提供，它將支持 8 位、4 位和 1 位權(quán)重和激活。此外，Akida 2 將支持基于時(shí)空和時(shí)空事件的神經(jīng)網(wǎng)絡(luò)。

多年來，BrainChip 吸引開發(fā)人員的最大障礙不是它的神經(jīng)形態(tài)芯片，而是物流。展示 Akida 架構(gòu)意味著將笨重的基于 FPGA 的盒子實(shí)際運(yùn)送給客戶，在現(xiàn)場(chǎng)為它們供電，并兼顧貸款期。隨著 Akida Cloud 的推出，這種瓶頸消失了。

工程師現(xiàn)在可以登錄，啟動(dòng)在實(shí)際 Akida 1 上運(yùn)行的現(xiàn)有 Akida 1 或即將在 FPGA 上運(yùn)行的 Akida 2 的虛擬實(shí)例，并直接在瀏覽器中運(yùn)行自己的神經(jīng)工作負(fù)載。模型可以實(shí)時(shí)訓(xùn)練、加載、執(zhí)行和基準(zhǔn)測(cè)試，無需運(yùn)輸板條箱、保密協(xié)議或?qū)嶒?yàn)室設(shè)置。

Akida Cloud 代表的不僅僅是一次便利升級(jí);這是實(shí)現(xiàn)神經(jīng)形態(tài)技術(shù)普及的一項(xiàng)戰(zhàn)略舉措。通過在線提供最新的架構(gòu)，BrainChip 的小伙子們正在降低想要嘗試基于事件的人工智能但缺乏專業(yè)硬件的研究人員、初創(chuàng)公司和原始設(shè)備制造商的進(jìn)入門檻。

用戶可以在承諾使用芯片之前并排比較 Akida 1 和 Akida 2 的行為、原型模型并收集性能數(shù)據(jù)。對(duì)于 BrainChip 來說，云平臺(tái)還充當(dāng)了一個(gè)快速反饋循環(huán)——將每個(gè)互聯(lián)工程師轉(zhuǎn)變?yōu)樵缙跍y(cè)試人員，并加速 SNN 在整個(gè)邊緣 AI 生態(tài)系統(tǒng)中的采用。

這就是云中的大腦、電線上的尖峰以及在眨眼之前進(jìn)行思考的人工智能。如果這就是神經(jīng)形態(tài)未來的樣子，我會(huì)說“加油”（只要我可憐的老海馬體冷卻下來）。但這并不全是關(guān)于我的（應(yīng)該是，但事實(shí)并非如此）。那么，你對(duì)這一切有什么看法呢？