用集成電路結(jié)合機(jī)器學(xué)習(xí)和模擬推理
據(jù)格勒諾布爾實(shí)驗(yàn)室 CEA-Leti 領(lǐng)導(dǎo)的法國(guó)團(tuán)隊(duì)稱,內(nèi)置在 IC 金屬層中的單一結(jié)構(gòu)可以實(shí)現(xiàn)機(jī)器學(xué)習(xí)和模擬 AI 推理,下面的 CMOS 也可用于處理。

該結(jié)構(gòu)由兩個(gè)金屬互連層組成,有四層:底部的 TiN、硅摻雜的 HfO2、Ti 清除層,然后是頂部的 TiN。
就目前而言,這是一種鐵電電容器結(jié)構(gòu),但經(jīng)過一次電氣成型作(通過氧化鏗長(zhǎng)出導(dǎo)電螺紋)后,它就變成了可重新編程的憶阻器結(jié)構(gòu)。
這允許在該層的任何地方隨意制作任何一個(gè)設(shè)備。
CEA-Leti 表示:“鐵電電容器允許快速、低能耗的更新,但它們的讀取作具有破壞性,因此不適合推理。憶阻器在推理方面表現(xiàn)出色,因?yàn)樗鼈兛梢源鎯?chǔ)模擬權(quán)重,在讀取作期間節(jié)能,并支持內(nèi)存計(jì)算。[然而]雖然憶阻器的模擬精度足以進(jìn)行推理,但它不足以進(jìn)行學(xué)習(xí),學(xué)習(xí)需要小的、漸進(jìn)的權(quán)重調(diào)整。
在使用中,這個(gè)想法是片外訓(xùn)練最初可用于將推理模型編程到憶阻器陣列的電導(dǎo)中。
隨后,該 IC 將運(yùn)行一種學(xué)習(xí)算法,將其神經(jīng)網(wǎng)絡(luò)權(quán)重以數(shù)字方式存儲(chǔ)在鐵電電容器陣列中,這些新權(quán)重將用于更新憶阻器中的模擬權(quán)重。
“前向和后向傳遞使用以模擬方式存儲(chǔ)在憶阻器中的低精度權(quán)重,而更新則使用更高精度的鐵電帽來(lái)實(shí)現(xiàn),”研究負(fù)責(zé)人 Michele Martemucci 說(shuō)?!皯涀杵鲿?huì)根據(jù)存儲(chǔ)在鐵電帽中的 [三個(gè)] 最高有效位定期重新編程?!?/p>
該概念驗(yàn)證器件采用標(biāo)準(zhǔn) 130nm CMOS IC 制成,具有 16,384 個(gè)鐵電電容器單元(每個(gè)單元有一個(gè)電容器和一個(gè)晶體管)和 2,048 個(gè)憶阻器單元(一個(gè)憶阻器和一個(gè)晶體管)。
10 個(gè)電容器存儲(chǔ)單個(gè)有符號(hào)數(shù)字整數(shù),憶阻器成對(duì)運(yùn)行以存儲(chǔ)差分(因此有符號(hào))值。
為避免需要DAC將數(shù)據(jù)從數(shù)字電容傳輸?shù)侥M憶阻器,最重要的三個(gè)電容的面積比(以及電荷)比為1:2:4,允許使用簡(jiǎn)單的模擬求和來(lái)設(shè)置憶阻器。
CEA-Leti 與格勒諾布爾阿爾卑斯大學(xué)、CEA-List、CNRS、波爾多大學(xué)、波爾多 INP、法國(guó) IMS、巴黎薩克雷大學(xué)以及納米科學(xué)和納米技術(shù)中心合作。
有關(guān)詳細(xì)信息,請(qǐng)閱讀 Nature Electronics 論文“用于訓(xùn)練和推理的鐵電憶阻器存儲(chǔ)器”。這篇寫得清晰的論文可以完整閱讀,無(wú)需付費(fèi)。
根據(jù)這篇論文:基于 IC 的神經(jīng)網(wǎng)絡(luò)“是使用隨機(jī)梯度下降算法進(jìn)行訓(xùn)練的......在多個(gè)邊緣基準(zhǔn)測(cè)試中獲得的結(jié)果與浮點(diǎn)精度軟件模型獲得的結(jié)果具有競(jìng)爭(zhēng)力,并且沒有與硬件約束相關(guān)的耐用性限制。我們觀察到憶阻器狀態(tài)長(zhǎng)達(dá)一個(gè)月的穩(wěn)定性......重量轉(zhuǎn)移糾正憶阻器電導(dǎo)水平的任何漂移“。











評(píng)論