注意力機(jī)制是人工智能 （AI） 領(lǐng)域非常有用的創(chuàng)新，用于處理順序數(shù)據(jù)，特別是在語音和音頻應(yīng)用中。本常見問題解答討論了注意力機(jī)制的核心工作原理、它們?nèi)绾卧谧詣?a class="contentlabel" href="http://yuyingmama.com.cn/news/listbylabel/label/語音">語音識別系統(tǒng)中使用，以及 Transformer 架構(gòu)如何處理高級音頻處理。

注意力機(jī)制的核心組成部分是什么？

注意力機(jī)制的核心是利用三個基本組件來發(fā)揮作用，這些組件協(xié)作確定哪些信息值得關(guān)注。這三個基本組件是查詢 （Q）、鍵 （K） 和值 （V）。您的查詢代表您正在尋找的特定信息，鍵就像幫助您查找相關(guān)材料的書名或目錄條目，并且值包含您要檢索的實(shí)際內(nèi)容。

在神經(jīng)網(wǎng)絡(luò)中，此過程轉(zhuǎn)化為系統(tǒng)的數(shù)學(xué)過程。注意力機(jī)制計算查詢和鍵之間的相似性分?jǐn)?shù)，確定每條輸入信息與當(dāng)前處理步驟的相關(guān)性。然后使用 softmax 函數(shù)對這些分?jǐn)?shù)進(jìn)行歸一化，以創(chuàng)建總和為 1 的注意力權(quán)重。最后，這些權(quán)重用于創(chuàng)建一個上下文向量，通過以加權(quán)方式組合值來突出顯示最重要的信息。

該過程由縮放點(diǎn)積注意力公式表示：

注意力（Q，K，V） = softmax（QK^T/√dk）V

其中，縮放因子可防止點(diǎn)積變得太大，這可能會將 softmax 函數(shù)推入梯度極小的區(qū)域。

圖 1.基本注意力機(jī)制（左）和多頭注意力（右）計算流程。（圖片來源：arXiv)

如圖 1 所示，此過程遵循清晰的計算管道。左圖顯示了三個輸入分量如何通過矩陣乘法、縮放、可選掩碼、softmax 歸一化和最終加權(quán)組合。右側(cè)顯示多頭注意力，這意味著不同的學(xué)習(xí)投射和多種注意力機(jī)制協(xié)同工作。

這使模型可以同時看到不同類型的關(guān)系，例如時間模式、頻率依賴關(guān)系和語義連接。這種同時處理多個任務(wù)的能力在許多音效同時發(fā)生的復(fù)雜音頻情況下變得非常重要。

注意力機(jī)制如何提高語音識別能力？

舊的自動語音識別系統(tǒng)的一個重要問題被稱為“信息瓶頸”。在較舊的編碼器-解碼器模型中，整個音頻序列被壓縮為固定長度的上下文向量，這意味著重要的細(xì)節(jié)會丟失，尤其是在較長的音頻片段中。注意力機(jī)制通過讓解碼器在文本生成的每個階段動態(tài)訪問編碼音頻的不同部分來解決這個問題。

基于注意力的端到端模型，例如 Listen-Attend-Spell （LAS），是向前邁出的一大步。它們直接將語音信號連接到字符或單詞序列，而無需單獨(dú)的聲音、發(fā)音和語言模型。

圖 2.用于語音識別的 LAS 架構(gòu)。（圖片來源：ResearchGate)

如圖 2 所示，LAS 架構(gòu)展示了注意力是如何在三個獨(dú)立的部分實(shí)現(xiàn)的。作為分層編碼器，“Listen”組件適用于通過它發(fā)送的多個層的音頻功能。虛線顯示了“參加”機(jī)制如何動態(tài)地關(guān)注這些編碼特征的正確部分，以進(jìn)行解碼的每個步驟。“拼寫”部分制作輸出序列，每個步驟都基于編碼器的注意力加權(quán)上下文。

事實(shí)證明，這些改進(jìn)是有效的。與傳統(tǒng)的基于音素的方法相比，基于注意力的模型的相對單詞錯誤率比基線系統(tǒng)低 15.7%，低 36.9%。當(dāng)系統(tǒng)制作每個音素或字符時，注意力機(jī)制會關(guān)注與該聲音相關(guān)的確切音頻幀。這使得聲音和文本輸出之間的對齊方式隨時間而變化。

變壓器如何以不同的方式處理音頻？

圖 3.通過注意力層處理音頻頻譜圖的 Transformer 架構(gòu)。（圖片來源：施普林格自然)

在變壓器架構(gòu)中引入自注意力是音頻處理的重大突破。自注意力不像傳統(tǒng)的循環(huán)方法那樣以線性方式處理音頻，而是讓模型同時查看輸入序列中所有位置之間的連接。這使得遠(yuǎn)程依賴建模和計算效率都更好。

在自注意力中，所有查詢、鍵和值都來自相同的輸入序列。這使模型可以確定在對特定幀進(jìn)行編碼時哪些音頻幀是最重要的。

如圖 3 所示，基于變壓器的音頻編碼器通過將頻譜圖拆分為可以并行處理的塊來處理頻譜圖。每個 Patch 接收位置信息并流經(jīng)多個自注意力層，其中每個層同時分析整個音頻序列的關(guān)系。

多頭注意力建立在這一思想的基礎(chǔ)上，同時使用多種注意力機(jī)制和不同的學(xué)習(xí)投影。這使模型能夠理解不同類型的關(guān)系，例如時間模式、頻率和含義之間的關(guān)系。

總結(jié)

注意力機(jī)制顯著改善了語音和音頻處理，從一種解決序列之間轉(zhuǎn)換問題的方法發(fā)展成為人工智能系統(tǒng)的重要組成部分。通過動態(tài)關(guān)注相關(guān)信息，他們在從語音識別到音頻理解等任務(wù)中實(shí)現(xiàn)了顯著的性能改進(jìn)。