深度學習為工程應用增添了新的維度，從 5G 信號處理到電網(wǎng)的預測性維護。它可以自動檢測設(shè)備故障并準確優(yōu)化網(wǎng)絡流量。但這些人工系統(tǒng)實際上是如何從數(shù)據(jù)中學習的呢？

本常見問題解答探討了神經(jīng)網(wǎng)絡的基本架構(gòu)、優(yōu)化數(shù)百萬個參數(shù)的兩階段學習過程，以及處理不同數(shù)據(jù)類型的卷積神經(jīng)網(wǎng)絡 （CNN） 和遞歸神經(jīng)網(wǎng)絡 （RNN） 等專用架構(gòu)。

深度學習的基本組成部分是什么？

深度學習的基石是人工神經(jīng)網(wǎng)絡，這是一種通過稱為神經(jīng)元的互連處理單元處理信息的計算架構(gòu)。它是一個復雜的信號處理系統(tǒng)，其中每個連接代表一個可編程增益元件。

如圖 1 所示，深度神經(jīng)網(wǎng)絡由三個基本層組成：接收原始數(shù)據(jù)（例如傳感器讀數(shù)或信號樣本）的輸入層、執(zhí)行日益復雜的特征提取的多個隱藏層以及產(chǎn)生最終決策或預測的輸出層。神經(jīng)元之間的每個連接都有一個相關(guān)的權(quán)重，一個確定該連接強度的數(shù)值參數(shù)。

圖 1.由輸入層、隱藏層和輸出層組成的基本神經(jīng)網(wǎng)絡架構(gòu)。（圖片：開放生物信息學雜志)

深度學習中的“深度”是指多個隱藏層，每個隱藏層都旨在識別逐漸更復雜的模式。例如，在分析電網(wǎng)數(shù)據(jù)的系統(tǒng)中，第一個隱藏層可以檢測基本電壓波動，第二層可以識別頻率異常，更深層可以識別表明設(shè)備退化的復雜故障特征。

每個神經(jīng)元對其輸入進行加權(quán)求和，然后執(zhí)行非線性激活函數(shù)。這個數(shù)學運算可以表示為：

y = f（Σ（wi × 習） + b）

其中 wi 表示權(quán)重，習 輸入，b 表示偏差項，f 表示激活函數(shù)。工程師將熟悉這種公式，作為一種線性組合然后進行非線性處理的形式，類似于具有非線性元件的運算放大器電路。

神經(jīng)網(wǎng)絡實際上是如何從數(shù)據(jù)中學習的？

深度學習非常強大，因為它具有非常復雜、多層且通常專門的架構(gòu)。它還可以通過類似于反饋控制系統(tǒng)的兩階段學習過程自動優(yōu)化數(shù)百萬個參數(shù)。

學習過程如圖 2 所示，通過兩個不同的階段進行。前向傳播類似于信號流分析，其中輸入數(shù)據(jù)流經(jīng)網(wǎng)絡，每一層都應用數(shù)學變換來生成越來越精細的表示。網(wǎng)絡的預測在經(jīng)過級聯(lián)處理后從輸出層出現(xiàn)。

圖 2.神經(jīng)網(wǎng)絡學習周期顯示前向計算和后向優(yōu)化。（圖片來源：ResearchGate)

第二階段，向后傳播，實現(xiàn)學習機制。當網(wǎng)絡的預測與預期結(jié)果不同時，會計算錯誤信號并通過網(wǎng)絡向后傳播。此過程計算相對于每個權(quán)重的誤差梯度，確定每個參數(shù)如何導致整體誤差。

優(yōu)化算法（通常是梯度下降）然后沿最小化誤差的方向調(diào)整權(quán)重。這個迭代過程對數(shù)千或數(shù)百萬個訓練示例重復，逐漸提高網(wǎng)絡的性能。數(shù)學的優(yōu)雅在于微積分的鏈式規(guī)則，它能夠在整個網(wǎng)絡深度上進行高效的梯度計算。

對于工程師來說，這個過程與自適應濾波器設(shè)計相似，其中系數(shù)根據(jù)誤差反饋不斷更新。然而，深度學習將這一概念擴展到具有更高效率的非線性、多維優(yōu)化空間。

案例研究：基于圖像的系統(tǒng)的卷積神經(jīng)網(wǎng)絡

雖然基本學習原則保持不變，但不同類型的數(shù)據(jù)需要專門的網(wǎng)絡架構(gòu)，這些架構(gòu)已被證明在各個領(lǐng)域都是有效的。

CNN 代表了一種專為空間數(shù)據(jù)處理而設(shè)計的專用架構(gòu)，如圖 3 所示。原始輸入數(shù)據(jù)經(jīng)過一系列作，在卷積和池化之間交替進行，這些作會提取出越來越復雜的特征，直到最終分類。

圖 3.CNN 架構(gòu)顯示從原始圖像數(shù)據(jù)中提取漸進式特征。（圖片來源：ResearchGate)

在輸入上使用學習的篩選器時，卷積作會以計劃的方式查找某些模式或特征。對于工程師來說，這個過程類似于數(shù)字信號處理。卷積運算的工作原理類似于自適應濾波器，在訓練期間學習最佳內(nèi)核，而不是使用已經(jīng)設(shè)置的濾波器系數(shù)。

分層處理結(jié)構(gòu)形成了一個自然的特征提取管道：第一層找到簡單的圖案，如邊緣和紋理，后面的層將它們組合在一起以制作更復雜的表示。這種自動化特征學習消除了對手動特征工程的需求，這比舊的模式識別方法有了顯著改進。

CNN 可用于分析各種領(lǐng)域的空間數(shù)據(jù)，從計算機視覺到可以以網(wǎng)格狀格式存儲數(shù)據(jù)的任何其他領(lǐng)域。例如，在信號處理中，時頻表示被分析為圖像。

用于順序數(shù)據(jù)分析的循環(huán)神經(jīng)網(wǎng)絡

順序數(shù)據(jù)分析的問題由 RNN 解決，它使用記憶機制和反饋連接來做到這一點。與前饋網(wǎng)絡不同，RNN 可以處理不同長度的序列并記住它們之前被輸入的內(nèi)容。

圖 4 顯示了 RNN 在光通信中如何工作的真實示例。它顯示了它們?nèi)绾翁幚砣N類型的順序數(shù)據(jù)：數(shù)字信號波形、網(wǎng)絡流量模式和設(shè)備狀態(tài)參數(shù)。網(wǎng)絡架構(gòu)具有跨時間步長保存數(shù)據(jù)的存儲單元，這使您可以了解事件如何隨時間相互依賴。

圖 4.RNN 架構(gòu)處理順序數(shù)據(jù)，用于時間模式分析應用。（圖片：通信和網(wǎng)絡前沿)

基本 RNN 學習長期依賴關(guān)系的能力是長短期記憶 （LSTM） 變體解決的主要限制。LSTM 使用復雜的門控機制來管理信息流，只記住重要的細節(jié)而忘記不太重要的細節(jié)。

所展示的應用，網(wǎng)絡故障管理、設(shè)備故障預測和各種信號處理任務，展示了 RNN 在通信工程中的能力。類似的原則適用于需要從時間序列數(shù)據(jù)中學習順序模式的任何地方，盡管不同工程領(lǐng)域的實現(xiàn)細節(jié)差異很大。

總結(jié)

神經(jīng)網(wǎng)絡通過加權(quán)連接連接的層來處理信息。他們通過兩階段循環(huán)進行學習，其中前向傳播進行預測，向后傳播找到最佳設(shè)置。兩種類型的架構(gòu)，用于空間數(shù)據(jù)的卷積網(wǎng)絡和用于順序數(shù)據(jù)的循環(huán)網(wǎng)絡，展示了如何大規(guī)模使用簡單的數(shù)學運算來產(chǎn)生復雜的行為。

這種自動模式發(fā)現(xiàn)功能極大地有利于 5G 網(wǎng)絡優(yōu)化和預測性維護系統(tǒng)等工程應用。對于工程師來說，深度學習是一種強大的計算機工具，可以將傳統(tǒng)的優(yōu)化理念提升到更高的復雜程度。