來源丨大連理工大學編輯丨極市平臺

論文地址：https://arxiv.org/pdf/2204.10137.pdf

代碼地址：https://github.com/vis-opt-group/SCI

本文提出了一種全新的低光照圖像增強方案：自校準光照學習（SCI）。通過構(gòu)建引入自校準模塊的權(quán)重共享光照學習過程，摒棄了網(wǎng)絡結(jié)構(gòu)的繁雜設計過程，實現(xiàn)了僅使用簡單操作進行增強的目的。大量實驗結(jié)果表明，SCI在視覺質(zhì)量、計算效率、下游視覺任務應用方面均取得了突破（見圖1）。該研究已被CVPR 2022收錄為Oral。

低光照圖像增強作為圖像處理中的經(jīng)典任務，在學術(shù)界與工業(yè)界均受到了廣泛關注。2018-2020年連續(xù)舉辦三屆的UG2+Prize Challenge比賽將低光照人臉檢測作為主競賽單元，極大程度推動了學術(shù)界對于低光照圖像增強技術(shù)的研究。某手機廠商于2019年發(fā)布會上將暗光拍攝能力作為主打亮點，掀起了工業(yè)界利用深度學習技術(shù)解決低光照圖像增強的又一波浪潮。

現(xiàn)有的低光照圖像增強技術(shù)聚焦于構(gòu)建數(shù)據(jù)驅(qū)動的深度網(wǎng)絡，通常其網(wǎng)絡模型復雜，導致計算效率低、推理速度慢，并且由于對于訓練數(shù)據(jù)分布的依賴性導致其在未知場景下的性能缺乏保障?？偟膩碚f，現(xiàn)有技術(shù)普遍缺乏實用性。為解決以上問題，本文致力于從學習策略入手，構(gòu)建一種快速、靈活與穩(wěn)健的低光照圖像增強方案。

（1）權(quán)重共享的光照學習

根據(jù)Retinex理論，低光照觀測圖像等于清晰圖像與光照的點乘，即。在基于該模型設計的方法中，光照的估計通常被視為主要的優(yōu)化目標，得到精確的光照后，清晰圖像能夠上述關系直接得到。受現(xiàn)有工作的逐階段光照優(yōu)化過程啟發(fā)，本文構(gòu)建漸進式的光照優(yōu)化過程，其基本單元如下所示：

其中  與  分別表示第t階段的殘差與光照。 表示光照估計網(wǎng)絡。需要注意的是這里  與 階段數(shù)無關, 即在每一階段光照估計網(wǎng)絡均保持結(jié)構(gòu)與參數(shù)共享狀態(tài)。進一步理解該模塊能夠 發(fā)現(xiàn), 在漸進式優(yōu)化與參數(shù)共享機制下, 每個階段均希望得到與目標接近的輸出。換句話說, 是否存在一種可能, 能夠令每個階段的輸出盡可能接近且與目標一致, 這樣一來, 多階段級聯(lián) 測試變?yōu)閱坞A段測試, 將大幅減少推理代價。為實現(xiàn)該目標, 如下引入了一種自校準模塊。

（2）自校準模塊

該模塊的目的在于從分析每個階段之間的關系入手，確保在訓練過程中的不同階段的輸出均能夠收斂到相同的狀態(tài)。自校準模塊的公式表達如下所示：

其中是校準后的用于下一階段的輸入。也就是說，原本的光照學習過程中第二階段及以后的輸入變成了由上述公式得到的結(jié)果（總的計算流程如圖2所示），即光照優(yōu)化過程的基本單元被重新公式化為：

實際上，該自校準模塊通過引入物理規(guī)律（即Retinex理論），逐步校正了每一階段的輸入來間接地影響了每一階段的輸出，進而實現(xiàn)了階段間的收斂。圖3探究了自校準模塊的作用，可以發(fā)現(xiàn)，自校準模塊的引入使得不同階段的結(jié)果能夠很快地收斂到相同狀態(tài)（即三個階段的結(jié)果重合）。

（3）無監(jiān)督損失函數(shù)

為了更好地訓練提出的學習框架，該部分設計了一種無監(jiān)督損失函數(shù)，以約束每一階段的光照估計，公式表示如下：

其中前一項與后一項分別代表數(shù)據(jù)保真項及平滑正則項（關于各個變量的詳細說明請參見論文）。

（1）定量分析

表1展示了在著名的MIT-Adobe FiveK數(shù)據(jù)集上的定量結(jié)果對比，可以看出，提出方法取得了最優(yōu)性能。值得注意的是，盡管提出方法為無監(jiān)督方法，但其在PSNR與SSIM這類有參考指標上的結(jié)果均實現(xiàn)了最優(yōu)，究其原因在于該數(shù)據(jù)集的Ground Truth是由專家修飾得到的，也說明了提出方法生成的結(jié)果更符合人類視覺習慣。

（2）真實場景下的視覺對比

圖4展示了兩組在有難度的真實場景下的增強結(jié)果對比?？梢钥闯?，相比于其他的方法，提出方法的增強結(jié)果亮度適中、細節(jié)豐富、色調(diào)自然、具有更高的視覺質(zhì)量。

（3）下游任務性能分析

為了進一步探究SCI的優(yōu)勢，本文比較了在低光照人臉檢測與夜間語義分割兩個下游任務的性能。在低光照人臉檢測任務中，定義了兩種與SCI相關的版本，一種是將SCI作為預處理來實現(xiàn)數(shù)據(jù)的亮度增強（其他對比方法采用相同方式）并在該數(shù)據(jù)基礎上微調(diào)檢測網(wǎng)絡，另一種是SCI與檢測網(wǎng)絡聯(lián)合微調(diào)（記為SCI+）。圖5中展示了檢測結(jié)果，可以看出，本文提出的方法具有明顯優(yōu)勢，能夠檢測出更多的小目標。

圖6展示了夜間語義分割性能，可以看出，SCI獲得了有競爭的數(shù)值結(jié)果，同時在類別劃分上更準確，邊緣刻畫更清晰。

本文提出的SCI在圖像質(zhì)量和推理速度方面均取得了突破，為低光照圖像增強任務的解決提供了一種新的視角，即如何在有限資源下賦予網(wǎng)絡模型更強的刻畫能力，該種視角相信也能夠為其他相關視覺增強領域帶來啟發(fā)。未來，作者將繼續(xù)探究如何設計更有效的學習手段來建立輕量、魯棒、面向更具有挑戰(zhàn)真實場景的低光照圖像增強方案。

本文僅做學術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。