導(dǎo)讀

深度神經(jīng)網(wǎng)絡(luò)(DNN)通過端到端的深度學(xué)習(xí)策略在許多具有挑戰(zhàn)性的任務(wù)上達(dá)到了人類水平的性能。深度學(xué)習(xí)產(chǎn)生了具有多層抽象層次的數(shù)據(jù)表示;然而，它沒有明確地提供任何關(guān)于DNNs內(nèi)部運(yùn)作的解釋，換句話說它的內(nèi)部運(yùn)作是一個(gè)黑盒子。深度神經(jīng)網(wǎng)絡(luò)的成功吸引了神經(jīng)科學(xué)家，他們不僅將DNN應(yīng)用到生物神經(jīng)系統(tǒng)模型中，而且還采用了認(rèn)知神經(jīng)科學(xué)的概念和方法來理解DNN的內(nèi)部表示。盡管可以使用諸如PyTorch和TensorFlow之類的通用深度學(xué)習(xí)框架來進(jìn)行此類跨學(xué)科研究，但是使用這些框架通常需要高級(jí)編程專家和全面的數(shù)學(xué)知識(shí)。因此迫切需要一個(gè)專門為認(rèn)知神經(jīng)科學(xué)家設(shè)計(jì)的工具箱，以繪制DNN和大腦的圖。在這項(xiàng)研究里，北京師范大學(xué)(后文稱北師大)研究團(tuán)隊(duì)設(shè)計(jì)并開發(fā)了DNNBrain，這是一個(gè)基于Python的工具箱，旨在探索DNN和大腦中的內(nèi)部表示形式。通過集成DNN軟件包和完善的腦成像工具，DNNBrain為各種研究場(chǎng)景提供了應(yīng)用程序和命令行界面，例如提取DNN激活，探測(cè)DNN表示，將DNN表示映射到大腦以及可視化DNN表示。北師大研究團(tuán)隊(duì)人員表示，希望他們開發(fā)的這款工具箱可以加速將DNN應(yīng)用到生物神經(jīng)系統(tǒng)建模以及利用認(rèn)知神經(jīng)科學(xué)范式揭示DNN的黑匣子方面的科學(xué)研究。

DNNBrain軟件介紹

DNNBrain被設(shè)計(jì)成為一個(gè)集成的工具箱，可以用于描述DNNs的人工表示和大腦的神經(jīng)表示，如下圖表示。

對(duì)DNNs和人進(jìn)行刺激后，可獲得人工神經(jīng)活動(dòng)和生物神經(jīng)活動(dòng)。通過將刺激、人工活動(dòng)數(shù)據(jù)和生物神經(jīng)活動(dòng)數(shù)據(jù)與定制設(shè)計(jì)的輔助IO文件組合在一起，DNNBrain允許用戶輕松地描述、比較和可視化DNNs和大腦的表示。

DNNBrain是一個(gè)模塊化框架，由IO、Base、Model、Algorithm四個(gè)模塊組成，如下圖所示。

IO模塊提供了管理與文件相關(guān)的輸入和輸出操作的工具。Base模塊定義用于數(shù)組計(jì)算和數(shù)據(jù)轉(zhuǎn)換的基礎(chǔ)類。Model模塊包含各種DNN模型。Algorithm模塊定義了探索神經(jīng)網(wǎng)絡(luò)和大腦的各種算法。所有模塊都提供了用戶友好的API。針對(duì)各種研究場(chǎng)景開發(fā)了一套CLIs。

Result

為了檢查DNN的人工表示，研究人員首先掃描DNN并獲得了其神經(jīng)活動(dòng)，就像我們使用大腦成像設(shè)備掃描人的大腦一樣。DNNBrain提供API和CLI來提取DNN用戶指定通道的激活狀態(tài)。下圖顯示了了三個(gè)示例圖像(獵豹、啞鈴和禿鷹)的AlexNet五個(gè)Conv層的激活圖，這些圖像顯示了五個(gè)Conv層中每個(gè)層的最大平均激活，這表明圖像的DNN表示隨著 層的深度增加變得更加抽象。

上圖(A) AlexNet包含五個(gè)Conv層，3個(gè)FC層和一個(gè)1000-way的softmax分類器。(B)提取了三個(gè)示例圖像(獵豹、啞鈴和禿鷹)的AlexNet五個(gè)Conv層的激活圖。所呈現(xiàn)的通道是在五個(gè)Conv層中每個(gè)層中顯示該示例圖像的最大平均激活的通道。

DNNBrain中還實(shí)現(xiàn)了編碼模型和表示相似性分析，以幫助研究人員檢查DNN與大腦表示之間的對(duì)應(yīng)關(guān)系。

上圖(A)使用來自AlexNet Conv層的人工表示法預(yù)測(cè)VTC BOLD響應(yīng)的體素式編碼模型的編碼精度圖。(B) BOLD5000刺激的RDM是根據(jù)AlexNet的Conv層的人工表示和人類VTC的大腦激活模式計(jì)算得出的。將每對(duì)圖像之間的表示距離量化為它們的表示之間的相關(guān)距離。DNN和大腦之間的表示相似性進(jìn)一步計(jì)算為其RDM之間的Pearson相關(guān)性。

研究人員使用DNNBrain來可視化AlexNet的三個(gè)輸出單元（即鴕鳥，孔雀和火烈鳥）的首選功能。選擇輸出單元作為示例是因?yàn)樗鼈儺a(chǎn)生的功能易于檢查（即每個(gè)單元對(duì)應(yīng)一個(gè)唯一的類別）。這些過程本質(zhì)上適用于DNN中的任何單元。

上圖(A)從BOLD5000數(shù)據(jù)集中發(fā)現(xiàn)的top刺激。(B)為(A)中顯示的top刺激計(jì)算的顯著性圖。(C)通過增加相應(yīng)神經(jīng)元的激活來引導(dǎo)從頭開始合成的圖像。

總結(jié)

北師大研究團(tuán)隊(duì)為探索DNN和大腦中的內(nèi)部表示形式設(shè)計(jì)并開發(fā)了一個(gè)基于Python的工具箱--DNNBrain。通過集成DNN軟件包和完善的腦成像工具，DNNBrain為各種研究場(chǎng)景提供了應(yīng)用程序和命令行界面，例如提取DNN激活，探測(cè)DNN表示，將DNN表示映射到大腦以及可視化DNN表示。北師大研究團(tuán)隊(duì)人員表示，期待他們開發(fā)的這款工具箱可以加速將DNN應(yīng)用到生物神經(jīng)系統(tǒng)建模以及利用認(rèn)知神經(jīng)科學(xué)范式揭示DNN的黑匣子方面的科學(xué)研究。

文章來源于公眾號(hào)"腦機(jī)接口社區(qū)"