背景

低光圖像是夜晚拍照時(shí)極為常見的一種現(xiàn)象。不充分的光照會極大的降低圖像的視覺質(zhì)量，細(xì)節(jié)損失、低對比度不僅導(dǎo)致令人討厭的主觀感受，同時(shí)會影諸多計(jì)算機(jī)視覺系統(tǒng)的性能(這些系統(tǒng)往往為正常光照圖像而設(shè)計(jì))。 導(dǎo)致低光圖像的原因有很多，如低光環(huán)境、低端拍攝設(shè)備以及不合理的拍照設(shè)備的配置等。

為盡可能的恢復(fù)圖像的細(xì)節(jié)信息，改善圖像質(zhì)量，我們急需一種有效的低光圖像增強(qiáng)方案。 在過去的十年里，許多研究人員對低光圖像增強(qiáng)展開了研究并提出了多種技術(shù)。如Histogram Equalization(HE)及其改進(jìn)；Retinex理論及其改進(jìn)等等。

本文主要關(guān)注深度學(xué)習(xí)方法在該領(lǐng)域的一些進(jìn)展，將簡單匯總與介紹近幾年相關(guān)的深度學(xué)習(xí)方法以及相應(yīng)的數(shù)據(jù)集、相關(guān)技術(shù)的評價(jià)標(biāo)準(zhǔn)等等。

數(shù)據(jù)

這里匯總了一些公開論文中用到的低光圖像數(shù)據(jù)，供模型訓(xùn)練與測試參考。 在低光圖像增強(qiáng)領(lǐng)域中，目前最常用的數(shù)據(jù)集為SID與LOL這兩種數(shù)據(jù)集。這兩個(gè)數(shù)據(jù)集分別代表了低光圖像增強(qiáng)領(lǐng)域的兩個(gè)場景。

SID是極暗場景下的數(shù)據(jù)集，它的輸入為未經(jīng)任何處理的RAW格式數(shù)據(jù)，未經(jīng)ISP處理；而LOL則是類似夜景這種有一定光照條件下的低光數(shù)據(jù)集，它的輸入與輸出均為PNG格式的數(shù)據(jù)，即經(jīng)過了ISP處理。 Table.1 與低光圖像增強(qiáng)相關(guān)的數(shù)據(jù)集

方法

上表中匯總了最近幾年深度學(xué)習(xí)在低光圖像增強(qiáng)領(lǐng)域中的幾種方法。下面將分別針對這些方法進(jìn)行簡單的總結(jié)與介紹。

0. Retinex理論

經(jīng)典的Retinex理論模擬了人眼顏色感知，它假設(shè)觀測圖像可以被分解為兩種成分：Reflectance與Illumination。假設(shè)表示觀測圖像，它可以被分解為： 其中，表示反射圖，表示亮度圖， 表示點(diǎn)乘操作。反射圖描述了觀測目標(biāo)的固有屬性，它可以被視作常量且與光照無關(guān)；亮度圖表示了目標(biāo)的不同光照。低光圖像存在暗光與不平衡的亮度分布。

在傳統(tǒng)方法中，Single Scale Retinex, SSR通過高斯濾波為亮度圖添加平滑性作為最早期的嘗試；MSR, MSRCR通過添加多尺度高斯濾波與顏色還原對SSR進(jìn)行了拓展。關(guān)于更多相關(guān)技術(shù)可以參考：Retinex Image Processing. 在深度學(xué)習(xí)方法中，已有諸多方法嘗試將Retinex理論與深度網(wǎng)絡(luò)相結(jié)合，在降低學(xué)習(xí)難度的同時(shí)提升算法性能，如RetinexNet。

1. GLADNet

project, code

GLADNet的核心：(1)為低光輸入計(jì)算全局亮度估計(jì)；(2)基于前述所得與原始輸入調(diào)整亮度。它將輸入圖像縮放到特定尺寸并送入到編解碼網(wǎng)絡(luò)中生成關(guān)于亮度的全局先驗(yàn)信息，基于全局先驗(yàn)信息與原始輸入圖像，采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行細(xì)節(jié)還原。在訓(xùn)練過程中，作者采用RAW圖像合成的數(shù)據(jù)進(jìn)行訓(xùn)練。通過大量實(shí)驗(yàn)驗(yàn)證了所提方法的有效性。

上圖給出GLADNet的框架圖，從中可以看出，該網(wǎng)絡(luò)由兩部分構(gòu)成：

全局亮度先驗(yàn)估計(jì) 在該部分中，作者采用了一個(gè)編解碼網(wǎng)絡(luò)架構(gòu)用于估計(jì)全局亮度信息。注：為估計(jì)亮度信息，它需要將輸入圖像下采樣到固定尺寸，這樣可以保證該架構(gòu)的底層感受野可以包含整個(gè)圖像。

該子網(wǎng)絡(luò)包含三個(gè)步驟：(1) 縮放輸入特征到特定分辨率；(2) 采用編解碼架構(gòu)估計(jì)全局亮度信息；(3)縮放到原始分辨率。

細(xì)節(jié)還原 全局亮度估計(jì)過程中由于尺度縮放問題會導(dǎo)致細(xì)節(jié)損失，為彌補(bǔ)該問題，作者設(shè)計(jì)了該細(xì)節(jié)還原子網(wǎng)絡(luò)。

相比編解碼網(wǎng)絡(luò)輸出，原始輸入圖像應(yīng)當(dāng)包含更多的細(xì)節(jié)信息，因而可以為細(xì)節(jié)還原提供更多信息。該子網(wǎng)絡(luò)以全局亮度信息+原始輸入圖像作為輸入(這樣可以保證了原始信息與亮度估計(jì)互補(bǔ)并傳遞到后續(xù)網(wǎng)絡(luò))，該子網(wǎng)絡(luò)另外包含三個(gè)卷積操作。

作者在訓(xùn)練過程中采用RAW圖像進(jìn)行訓(xùn)練數(shù)據(jù)的合成，采用加權(quán)損失函數(shù)進(jìn)行訓(xùn)練。加權(quán)損失函數(shù)定義如下：其中，，這種參數(shù)設(shè)置可以保證顏色平衡問題，提升網(wǎng)絡(luò)的魯棒性。

2. RetinexNet

RetinexNet, paper, BMVC2018,poster,ppt, code

Retinex是一種有效的低光圖像增強(qiáng)方法。它假設(shè)觀測圖像可以被分解為Reflectance與Illumination。現(xiàn)有的基于Retinex的模型需要精心設(shè)計(jì)人工約束條件與參數(shù)用于求解該病態(tài)分解問題(這限制了模型在不同場景應(yīng)用中的泛化性能)。 作者收集了一批低亮度圖像對(含低光與正常光圖像)并提出一種RetinexNet架構(gòu)在該數(shù)據(jù)集上進(jìn)行訓(xùn)練學(xué)習(xí)。RetinexNet包含一個(gè)DecomNet用于圖像分解分解以及一個(gè)EnhanceNet用于亮度調(diào)整。

在訓(xùn)練過程中，DeconmNet并沒有關(guān)于Reflectance與Illumination的真值。因而，該網(wǎng)絡(luò)學(xué)習(xí)了這樣的關(guān)鍵約束：圖像對的反射一致性與亮度的平滑一致性?；谠摲纸夥桨?，EnhanceNet用來進(jìn)行亮度增強(qiáng)，同時(shí)需要對Reflectance進(jìn)行降噪處理。該RetinexNet可以通過端到端的方式進(jìn)行訓(xùn)練。

大量實(shí)驗(yàn)表明：RetinexNet不僅取得極好的視覺效果，同時(shí)可以提供一種良好的圖像分解表達(dá)。

1558071668969 RetinexNet是一種數(shù)據(jù)驅(qū)動的Retinex分解方法，它集成圖像分解與增強(qiáng)操作于一體。

首先，子網(wǎng)絡(luò)DecomNet用于將觀測圖像劃分為亮度獨(dú)立的反射圖與結(jié)構(gòu)平滑的亮度圖； DecomNet網(wǎng)絡(luò)存在兩個(gè)約束條件：(1) 低光與正常光具有相同的反射圖；(2) 亮度圖應(yīng)該是平滑的且保留有主要結(jié)構(gòu)(可通過結(jié)構(gòu)相關(guān)的全變差損失約束學(xué)習(xí))。 在訓(xùn)練過程中，它以成對圖像作為輸入(用于約束反射一致性)；在測試階段僅需要輸入低光圖像。

然后，子網(wǎng)絡(luò)EnhanceNet通過多尺度Concat操作調(diào)整亮度圖以保證(1)在大范圍內(nèi)保持一致；(2)小范圍內(nèi)進(jìn)行裁剪局部分布。 它主要作用是提升亮度圖的亮度，它是一種類似UNet的編解碼架構(gòu)。 由于噪聲往往存在于暗區(qū)，且易被增強(qiáng)過程放大，因而采用在反射圖上進(jìn)行降噪。

最后，在重建階段通過組合調(diào)整后的亮度圖與反射圖計(jì)算輸出圖像。

注：為訓(xùn)練這樣一個(gè)網(wǎng)絡(luò)，作者利用RAW數(shù)據(jù)集構(gòu)建了一個(gè)包含真實(shí)與合成圖像的低光數(shù)據(jù)集。

損失函數(shù)相關(guān)

RetinexNet用到的損失函數(shù)包含三項(xiàng)：重建損失、不變反射損失以及亮度平滑損失?？傮w損失函數(shù)定義如下：其中，分別表示用于均衡不變反射損失與亮度平滑損失的系數(shù)，作者的參數(shù)設(shè)置為。

DecomNet部分用到的重建損失函數(shù)定義如下：EnhanceNet部分用到的重建損失函數(shù)定義如下：注：上述兩種重建損失區(qū)別在于：采用的梯度圖對進(jìn)行了加權(quán)。

用于約束反射一致性的不變反射損失定義如下：用于約束亮度平滑的亮度平滑損失在Total Variation Loss基礎(chǔ)上進(jìn)行改進(jìn)得到，定義如下：其中，表示梯度操作（包含），表示結(jié)構(gòu)強(qiáng)度平衡系數(shù)，降低了圖像梯度劇烈區(qū)域的平滑約束性，作者的參數(shù)設(shè)置：

3. Kindling the Darkness: A Practical Low Light Image Enhancer

arxiv paper

低光條件下所拍攝的圖像存在嚴(yán)重的質(zhì)量問題。除了低光外，噪聲、顏色失真等同樣限制了圖像的質(zhì)量。換句話說，簡單的調(diào)節(jié)的暗區(qū)的亮度不可避免的放大暗區(qū)的噪聲和偽影等。受Retinex理論啟發(fā)，作者構(gòu)建了一種簡單有效的網(wǎng)絡(luò)Kindling the Darkness, KinD網(wǎng)絡(luò)，它將圖像分解為兩部分：亮度部分用于調(diào)整圖像亮度；反射部分用于移除降質(zhì)。

經(jīng)過上述處理，原始空間被分解為兩個(gè)更小的子空間，以期具有更好的泛化性能。需要注意的是：該網(wǎng)絡(luò)通過不同曝光圖像對進(jìn)行訓(xùn)練，而非真實(shí)的反射與亮度信息。通過通過實(shí)驗(yàn)驗(yàn)證了所提kinD架構(gòu)的優(yōu)異性能，同時(shí)在2080TiGPU下，可以以不超過50ms的速度處理VGA分辨率的圖像。

從方法流程圖來看：KinD與RetinexNet如出一轍，兩者整體思想基本一致，盡在損失函數(shù)設(shè)計(jì)方面存在差異。故而，這里僅對損失函數(shù)進(jìn)行描述介紹。

損失函數(shù)

從上圖可以看出，KinD的損失函數(shù)主要由三部分損失構(gòu)成，它們分別是層分解部分損失、反射重建部分損失以及亮度調(diào)整部分損失。

層分解部分損失定義如下：其中，表示反射相似性損失(Reflectance Similarity)，即短曝光與長曝光圖形的反射圖應(yīng)該是相同的；表示亮度平滑損失約束(Illumination Smoothness)，它度量了亮度圖與輸入圖像之間的相對結(jié)構(gòu)，邊緣區(qū)域懲罰較小，平滑區(qū)域懲罰較大；表示相互一致性約束(Mutual Consistency)，它意味著強(qiáng)邊緣得以保留，弱邊緣被抑制；表示重建損失(Reconstruction Error)。

反射部分損失定義如下：亮度調(diào)整部分損失定義如下：以上簡單描述了網(wǎng)絡(luò)訓(xùn)練過程中的相關(guān)損失函數(shù)

??

4. MSRNet Low Light Image Enhancement using Deep Convolutional Networks

arxiv paper

低光圖像存在低對比度問題，導(dǎo)致后續(xù)視覺任務(wù)的難度提升?；赗etinex理論與CNN，作者提出一種低光增強(qiáng)方法。作者表示多尺度Retinex等價(jià)于帶有不同高斯卷積核的CNN；首次啟發(fā)，作者考慮采用端到端的方式學(xué)習(xí)多尺度CNN(MSRNet)。不同于已有方法，作者將低光增強(qiáng)視作機(jī)器學(xué)習(xí)問題，該模型的所有參數(shù)通過反向傳播方式學(xué)習(xí)得到，而傳統(tǒng)方法則需要人工設(shè)置相關(guān)參數(shù)。最后，作者通過大量圖像已驗(yàn)證了所提方法的有效性。

上圖給出了作者所提MSRNet，它采用低光圖像作為輸入，通過監(jiān)督學(xué)習(xí)方式訓(xùn)練網(wǎng)絡(luò)參數(shù)。它包含三個(gè)部分：多尺度對數(shù)變換、差分卷積以及顏色還原?？傮w過程可以描述為：。

多尺度對數(shù)變換以低光圖像作為輸入，得到相同尺寸的輸出。低光圖像通過幾個(gè)不同的對數(shù)變化進(jìn)行增強(qiáng)，公式描述為：其中，表示對數(shù)基下的不同尺度的輸出，n表示對數(shù)變換數(shù)。下一步則將多尺度輸出結(jié)果通過Concat方式拼接得到，并將其送入卷積與ReLU，描述如下：這里，表示將輸入Shrinks到3通道的卷積變換參數(shù)；表示更進(jìn)一步提升非線性表達(dá)能力的卷積核參數(shù)。該模塊的功能主要是通過加權(quán)組合多尺度對數(shù)變換得到更好的初始圖像以加速網(wǎng)絡(luò)收斂。

差分卷積以作為輸入，計(jì)算同尺寸的輸出。公式描述如下：表示不同尺度平滑結(jié)果，將他們通過Concat方式拼接得到，并執(zhí)行后續(xù)操作：類似MSR，的輸出計(jì)算為。

顏色還原以作為輸入，通過卷積執(zhí)行色彩還原：.

網(wǎng)絡(luò)訓(xùn)練過程中的損失函數(shù)定義如下：




?

5. A Pipeline Neural Network for Low Light Image Enhancement

paper

受多尺度Retinex(MSR)原理啟發(fā)，基于全卷積網(wǎng)絡(luò)與離散小波變換(DWT)，作者提出一種端到端的低光圖像增強(qiáng)框架。首先，作者說明MSR可以視為一種CNN架構(gòu)，集成DWT可以改進(jìn)MSR所生成圖像的質(zhì)量；然后，作者提出具有去噪和增強(qiáng)的框架；最后，醉著在合成數(shù)據(jù)與公開數(shù)據(jù)上對所提框架進(jìn)行了評估。

上圖給出作者所提框架在訓(xùn)練與測試階段的流程圖，該網(wǎng)絡(luò)采用損失進(jìn)行參數(shù)訓(xùn)練學(xué)習(xí)，同時(shí)去噪與增強(qiáng)模塊交替訓(xùn)練學(xué)習(xí)。

6. LLCNN A Convolutional Neural Network for Low Light Image Enhancement

paper

作者提出采用CNN進(jìn)行低光圖像增強(qiáng)。作者設(shè)計(jì)了一種特殊的模塊處理多尺度特征同時(shí)避免了梯度小時(shí)問題。為盡可能保留圖像的紋理信息，作者采用SSIM損失進(jìn)行模型訓(xùn)練?；谠摲椒?，低光圖像的對比度可以自適應(yīng)增強(qiáng)。作者通過實(shí)驗(yàn)驗(yàn)證了所提方法的有效性。

上圖給出了作者所設(shè)計(jì)的網(wǎng)絡(luò)架構(gòu)圖。

為避免梯度消失問題，作者參考Inception, Residual模塊設(shè)計(jì)了一種新穎的卷積模塊，如下圖所示。



總而言之，作者所設(shè)計(jì)的網(wǎng)絡(luò)架構(gòu)可以描述為：采用一個(gè)卷積預(yù)處理圖像得到均勻輸入，一個(gè)卷積用于生成增強(qiáng)圖像，其他特殊模塊插入到前面兩個(gè)卷積中間。

7. DSLR Quality Photos on Mobile Devices with Deep Convolutional Networks

arxiv paper, project, code,

盡管智能手機(jī)內(nèi)置相機(jī)具有越來越好的拍照效果，但是物理約束(如傳感器大小、鏡頭以及特定硬件的缺失)仍阻礙更高質(zhì)量圖像的獲取。作者提出一種端到端的方式將普通光照圖像變換為高質(zhì)量視覺效果圖像。作者采用殘差卷積網(wǎng)絡(luò)，它可以提升圖像的顏色與細(xì)節(jié)銳利度。由于標(biāo)準(zhǔn)的MSE損失并不適合度量圖像的感知質(zhì)量，作者引入一種混合損失函數(shù)(組合紋理、顏色以及上下文)。作者同時(shí)構(gòu)建了一個(gè)DPED數(shù)據(jù)集，通過該數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練并驗(yàn)證了所提方法的有效性。

?

給定低質(zhì)圖像，該增強(qiáng)人物的目標(biāo)是通過DSLR相機(jī)生成。假設(shè)殘差卷積網(wǎng)絡(luò)為，給定訓(xùn)練數(shù)據(jù),該優(yōu)化問題可以描述為：其中，為本文的關(guān)鍵所在，它是多種損失函數(shù)的組合，定義如下：

顏色損失用于度量增強(qiáng)圖像與目標(biāo)圖像之間的顏色差異性（注，為避免高頻細(xì)節(jié)影響，在計(jì)算之前進(jìn)行高斯模糊），定義如下：其中，。該損失函數(shù)主要用于評估圖像的亮度、對比度以及顏色的差異性而忽略掉紋理與內(nèi)容的差異。

紋理損失用于度量圖像之間的視覺相似性，通過GAN方式訓(xùn)練調(diào)整生成圖像的紋理質(zhì)量，定義如下：其中，分別表示生成網(wǎng)絡(luò)與對抗網(wǎng)絡(luò)。注：該損失具有平移不變性。

內(nèi)容損失基于預(yù)訓(xùn)練VGG19網(wǎng)絡(luò)的激活特征圖進(jìn)行統(tǒng)計(jì)分析，它可以確保圖像的語義特征不變，令表示VGG19的第j層激活輸出，該損失定義如下：

全變差損失用于確保生成圖像的空域平滑性，定義如下：

?

8. Learning to see in the dark

arxiv paper,CVPR2018, code, demo

由于低光子、低SNR等原因?qū)е碌凸獬上駱O具挑戰(zhàn)。短曝光圖像存在高噪聲，長曝光會引入模糊不切實(shí)際。為解決低光成像存在的問題，作者構(gòu)建了一個(gè)低曝光+長曝光RAW數(shù)據(jù)集并開發(fā)一個(gè)端到端的全卷積低光圖像處理框架。該框架直接以RAW數(shù)據(jù)作為輸入，經(jīng)全卷積操作后輸出RGB圖像。

數(shù)據(jù)集

作者收集一個(gè)新的低光RAW數(shù)據(jù)集，它包含5094對短曝光-長曝光圖像對，同時(shí)包含室內(nèi)與室外兩種不同的場景。室外場景的亮度變化范圍，室內(nèi)場景的亮度變化范圍，短曝光時(shí)長為，對應(yīng)的長曝光時(shí)長為。 作者采用了索尼與富士膠片分別采集數(shù)據(jù)，它們具有不同的傳感器類型。索引傳感器類型為Bayer模式，圖像分辨率；富士膠片傳感器類型為APS-C X-Trans傳感器，圖像分辨率。更多關(guān)注的描述可以參考原文。

方法

作者提出采用全卷積網(wǎng)絡(luò)直接采用RAW數(shù)據(jù)作為輸入，經(jīng)卷積計(jì)算后直接輸出RGB結(jié)果。對于Bayer形式數(shù)據(jù)，需要事先將其打包為多通道數(shù)據(jù)并進(jìn)行預(yù)處理(可參考上圖流程)。在全卷積網(wǎng)絡(luò)架構(gòu)方面，作者主要參考了CAN與UNet，默認(rèn)架構(gòu)為UNet。除了RAW數(shù)據(jù)外，另一個(gè)輸入為參數(shù)為放大比例系數(shù)，它用于控制輸出圖像的零度。

下圖給出了不同放大比例系數(shù)的輸出結(jié)果對比。 在訓(xùn)練過程中，作者采用損失從頭開始訓(xùn)練整個(gè)網(wǎng)絡(luò)，放大系數(shù)設(shè)置為輸入與真值之間的曝光差異比例。下面列出了所提方法在所構(gòu)建數(shù)據(jù)集上的部分效果。

1558329681018 ?

?

9. Learning Digital Camera Pipeline for Extreme Low Light Imaging

arxiv paper

在低光條件下 ，傳統(tǒng)的ISP處理會導(dǎo)致生成的圖像極暗(過少的光子)且高噪(低信噪比)。作者提出一種數(shù)據(jù)驅(qū)動的方法用于學(xué)習(xí)低曝光與正常曝光之間的一種映射關(guān)系，從而極大的提高低光圖像的視覺效果。作者提出一種新的損失函數(shù)以促進(jìn)深度網(wǎng)絡(luò)可以學(xué)習(xí)短曝光圖像到正常曝光圖像之間的ISP流程，即lowRAW->sRGB這樣的一個(gè)過程。實(shí)驗(yàn)結(jié)果表明：相比已有網(wǎng)絡(luò)中采用的像素級損失，該方法可以取得更優(yōu)的視覺效果。

損失函數(shù)

該文的主要?jiǎng)?chuàng)新點(diǎn)在于損失函數(shù)的設(shè)計(jì)，故而這里對文中所提到的損失函數(shù)進(jìn)行簡單匯總分析。文中所設(shè)計(jì)的多準(zhǔn)則損失函數(shù)定義如下：其中，表示每個(gè)獨(dú)立的損失函數(shù)，分別表示作用于輸入與輸出的函數(shù)，隨損失函數(shù)的類型變化而變化。表示像素級的損失函數(shù)，如損失與損失；表示更高層的感知損失。

直接在網(wǎng)絡(luò)輸出與真值之間計(jì)算誤差信息，此時(shí)有，損失函數(shù)定義為：其中，用于均衡兩種損失，可通過Grid Search方式在驗(yàn)證集上進(jìn)行估計(jì)得到；表示尺度數(shù)，用于調(diào)整每項(xiàng)損失的相對重要性，在實(shí)驗(yàn)過程中所有參數(shù)設(shè)置為：。 用于在特征層面衡量兩個(gè)圖像之間的相似性，有助于保持顏色與色彩一致性，此時(shí)，其中表示神經(jīng)網(wǎng)絡(luò)第層的激活特征，損失函數(shù)定義如下：作者實(shí)驗(yàn)過程中采用在ImageNet上預(yù)訓(xùn)練的VGG16(注：其他AlexNet, ResNet, GoogLeNet亦可)提取特征并進(jìn)行相似性比較。

網(wǎng)絡(luò)架構(gòu)

從上圖可以看出，作者設(shè)計(jì)的網(wǎng)絡(luò)架構(gòu)包含兩個(gè)子網(wǎng)絡(luò)：圖像還原子網(wǎng)絡(luò)與感知損失子網(wǎng)絡(luò)。 圖像還原子網(wǎng)絡(luò)采用了***帶跳過連接的UNet架構(gòu)***(更多細(xì)節(jié)參考原文)，它具有以下幾個(gè)優(yōu)點(diǎn)：

在圖像還原與分割任務(wù)中，它具有極優(yōu)的性能；

它可以處理任意分辨率圖像

跳過連接確保了上下文信息的自適應(yīng)傳遞，保留了高分辨率細(xì)節(jié)信息

感知損失子網(wǎng)絡(luò)采用VGG16的前兩個(gè)卷積提取特征，這兩個(gè)特征可以精確的編碼圖像的風(fēng)格與內(nèi)容感知信息。

?

?

10. End to End Denoising of Dark Burst Images using Recurrent Fully Convolutionaly Networks

arxiv paper

作者提出一種遞歸全卷積網(wǎng)絡(luò)(Recurrent Fully Convolutional Network, RFCN)用于處理極暗場景下的降噪并提升亮度的問題。該方法以RAW數(shù)據(jù)作為輸入，直接生成RGB數(shù)據(jù)，它可以同時(shí)進(jìn)行降噪、色彩校正以及增強(qiáng)等任務(wù)。該方法取得SOTA性能且具有極好的泛化性能(一種類型相加訓(xùn)練模型不經(jīng)finetune仍可很好的處理不同相機(jī)得到的圖片)。

?

上圖給出了作者提出低光圖像降噪增強(qiáng)流程圖，它的核心在RFCN模塊，針對單幀降噪與多幀降噪，其處理流程存在些微差異，見下圖。

?

損失函數(shù)定義如下：

?

11. Deep Burst Noising

arxiv paper, code

噪聲在低光圖像采集過程中不可避免的(由于手機(jī)設(shè)備有限的孔徑、較小的傳感器，這類問題會進(jìn)一步惡化)。一種減緩低光場景噪聲的方法是提升曝光時(shí)間，但是這會導(dǎo)致兩個(gè)問題：(1) 亮區(qū)會超出傳感器范圍；(2)會相機(jī)或場景運(yùn)動導(dǎo)致模糊。另一種方法是一次獲取多幀短曝光圖像協(xié)同降噪。本文基于后一種方案，采用RFCN架構(gòu)處理低光降噪問題。該架構(gòu)可以處理任意長度序列降噪并取得了SOTA性能。

本文目標(biāo)有以下幾點(diǎn)：

可以處理單幀降噪問題

可以拓展到任意幀

可以對整個(gè)序列進(jìn)行降噪

對運(yùn)動魯棒

具有時(shí)序相關(guān)性

可以推廣到其他圖像還原任務(wù)中

本文所涉及方案流程如下：

構(gòu)建單應(yīng)性矩陣解決對齊問題

采用FCN獨(dú)立的為每幀圖像降噪

拓展FCN為并行遞歸網(wǎng)絡(luò)，即集成多幀信息降噪

網(wǎng)絡(luò)架構(gòu)

單幀降噪問題可以視為這樣的優(yōu)化問題：。這里采用FCN構(gòu)建映射函數(shù)，它包含個(gè)含通道輸出，卷積核為的卷積層。

多幀降噪問題可以視為這樣的優(yōu)化問題：. 對于多幀問題，作者采用RNN+FCN架構(gòu)進(jìn)行處理。下圖給出了作者所提出的多幀降噪架構(gòu)。 ?????

Note: 10 與11兩種方法基本相同，區(qū)別僅在于處理數(shù)據(jù)的類型， 10用于處理RAW數(shù)據(jù)降噪，11用于處理RGB數(shù)據(jù)降噪，其他無甚區(qū)別。

12. DeepISP Toward Learning an End to End Image Processing Pipeline

project, paper

作者提出一種端到端的用于模擬ISP流程的深度神經(jīng)網(wǎng)絡(luò)DeepISP。它學(xué)習(xí)了從低光RAW到最終視覺效果良好RGB的映射，集成去馬賽克、降噪以及顏色校正、圖像調(diào)整等功能。在專用數(shù)據(jù)集(由三星S7只能手機(jī)采集的低光RAW與正常光RGB數(shù)據(jù)對)上對所提框架進(jìn)行了訓(xùn)練與測試。所提方法在聯(lián)合去馬賽克降噪方面取得了SOTA性能。相比傳統(tǒng)ISP方案，該方案具有更優(yōu)的視覺效果。

?

上圖給出了DeepISP架構(gòu)圖，它包含兩個(gè)部分：底層特征處理(局部修正)與高層特征處理(全局校正)。

Low Level Stage. 該部分包含個(gè)模塊，每個(gè)模塊執(zhí)行的卷積操作，它的輸入與輸出均為。注：輸入到網(wǎng)絡(luò)中的為去馬賽克后并進(jìn)行雙線性插值的RGB圖像。 在這64個(gè)通道中，其中61個(gè)通道為標(biāo)準(zhǔn)的前向卷積+ReLU，另外三個(gè)通道則采用殘差架構(gòu)+tanh。

High Level Stage 該部分包含個(gè)卷積層()，它可以獲得更大的感受野降低計(jì)算損失。這些卷積后接全局均值池化得到一個(gè)特征向量并通過全連接層得到變換參數(shù)W。

Output 在得到變換矩陣W后，將其作用于底層特征記得得到最終的輸出。這里的變換公式定義如下：其中， ，表示上三角矩陣向量化操作。經(jīng)此操作即可得到每個(gè)像素的輸出。 采用這種處理的原因：(1)線性回歸不適用于兩者之間的變換；(2)具有更好的視覺效果。

在訓(xùn)練過程中，損失函數(shù)在Lab域進(jìn)行計(jì)算，在Lab域三個(gè)通道分別計(jì)算損失，盡在亮度通道計(jì)算MS-SSIM損失。整體損失定義如下：

13. Underexposed Photo Enhancement using Deep Illumination Estimation

paper

這是騰訊優(yōu)圖賈佳亞團(tuán)隊(duì)發(fā)表于CVPR2019用于低光圖像增強(qiáng)的一種基于Retinex的深度網(wǎng)絡(luò)方法。 本文提出一種欠曝光圖像增強(qiáng)方法。不用于已有直接學(xué)習(xí)Image2Image映射的方法，我們在網(wǎng)絡(luò)中引入了中間亮度對輸入與期望增強(qiáng)結(jié)果構(gòu)建相關(guān)性，這種處理方式提升了網(wǎng)絡(luò)處理復(fù)雜圖相對的能力。

基于該模型，我們構(gòu)建了一種集成亮度約束與先驗(yàn)的損失函數(shù)，同時(shí)準(zhǔn)備了3000對欠曝光圖像用于網(wǎng)絡(luò)訓(xùn)練。該方法可以為圖像重建清晰的細(xì)節(jié)、明顯的對比度以及更為自然地顏色?；谒鶚?gòu)建數(shù)據(jù)集與MIT-Adobe FiveK數(shù)據(jù)集的實(shí)驗(yàn)證實(shí)：該網(wǎng)絡(luò)可以有效處理不同挑戰(zhàn)難度的圖像。

?

該方法基于Retinex而進(jìn)行設(shè)計(jì)，假設(shè)反射分量是正常曝光圖像，I為欠曝光圖像，S為亮度圖像，即。此時(shí)需要采用深度網(wǎng)絡(luò)估計(jì)亮度圖像S。作者將亮度圖像S視為三通道數(shù)據(jù)而非單通道數(shù)據(jù)以提升其在色彩增強(qiáng)方面的能力，尤其對于跨顏色通道的非線性能力。

網(wǎng)絡(luò)架構(gòu)

上圖給出了作者所涉及的網(wǎng)絡(luò)架構(gòu)圖，它具有兩個(gè)優(yōu)點(diǎn)：亮度圖的有效學(xué)習(xí)與整體網(wǎng)絡(luò)的高效計(jì)算。

有效學(xué)習(xí) 欠曝光圖像增強(qiáng)需要調(diào)整局部(對比度、銳化細(xì)節(jié)、陰影、高光等)與全局(顏色分布、平均亮度與場景類別等)特征。因而，作者考慮從編碼網(wǎng)絡(luò)中提取局部與全局特征，同時(shí)設(shè)計(jì)了一種集成亮度平滑先驗(yàn)、重建損失、顏色損失的損失函數(shù)。這些策略有確保網(wǎng)絡(luò)可以有效的學(xué)習(xí)到亮度圖像S。

高效計(jì)算 為計(jì)算計(jì)算，作者采用低分辨率局部與全局特征學(xué)習(xí)亮度圖像，然后采用Bilateral Grid Upsampling方式進(jìn)行上采樣。因此該網(wǎng)絡(luò)的大部分計(jì)算量均位于低分辨率區(qū)域，進(jìn)而確保高分辨率圖像處理的實(shí)時(shí)性。

損失函數(shù)

作者所設(shè)計(jì)的損失函數(shù)定義如下：其中，。

重建損失。

平滑損失. 注：表示水平與垂直方向的偏導(dǎo)，表示輸入圖像的對數(shù)圖像，用于控制圖像梯度的敏感度，。該損失函數(shù)可以避免過擬合同時(shí)提升圖像的對比度。

顏色損失。用于計(jì)算兩個(gè)顏色向量(RGB三維)的角度。 使用該損失而非的原因：(1) 重建損失已明確度量顏色差異；(2)只能度量顏色差異而無法顏色向量具有相同方向，進(jìn)而容易導(dǎo)致明顯的顏色偏差。

14. Deep Bilateral Learning for Real Time Image Enhancement

project, paper, code

這是一篇``Google Research發(fā)表于SIGGRAPH2017` 用于圖像增強(qiáng)的方法。 基于雙邊網(wǎng)絡(luò)處理與局部顏色仿射變換，作者提出一種新的深度網(wǎng)路架構(gòu)用于圖像增強(qiáng)。采用圖像對訓(xùn)練深度網(wǎng)路學(xué)習(xí)雙邊空間下的局部仿射系數(shù)，該架構(gòu)可以學(xué)習(xí)局部、全局以及內(nèi)容相關(guān)的決策參數(shù)以生成期望的圖像變換。

在運(yùn)行時(shí)，該網(wǎng)絡(luò)在低分辨空間學(xué)習(xí)雙邊空間內(nèi)相關(guān)仿射參數(shù)，然后將這些參數(shù)采用保邊形式上采樣，最后將這些參數(shù)作用于全分辨率輸入圖像得到最終期望的輸出。最終該算法可以在手機(jī)端以毫秒級處理高分辨率圖像，對于1080p分辨率圖像可以做到實(shí)時(shí)處理。

網(wǎng)絡(luò)架構(gòu)

該網(wǎng)絡(luò)的大部分推理均在低分辨率上執(zhí)行，該部分用于預(yù)測類似Bilateral Grid的局部仿射變換。圖像增強(qiáng)不僅依賴于局部特征，同時(shí)還依賴于全局特征。因而低分辨率流進(jìn)一步劃分為兩個(gè)分支，最后融合兩個(gè)分支的結(jié)果得到最終的仿射變換系數(shù)。

在高分辨率分支在全分辨率圖像上執(zhí)行，它占據(jù)較少的計(jì)算，但對于獲取高頻信息、保邊有很重要作用。為此，作者一如了Slicing節(jié)點(diǎn)以參考圖為例采用查找表方式構(gòu)建最終的放射系數(shù)圖。 最后，將所得到的高分辨率仿射系數(shù)作用于原始輸入圖像即可得到期望的增強(qiáng)圖像。

低分辨率分支 低分辨率輸入具有固定的尺寸，后接一些列卷積操作以提取底層特征并降低分辨率，然后將所得特征送入非對稱分支中：局部特征提取分支與全局特征提取分支。 全局特征與局部特征融合為特征，最終通過Pointwise Linear Layer生成最終的Bilateral Grid仿射系數(shù)。

局部特征提取分支由全卷積構(gòu)成，在學(xué)習(xí)局部特征的同時(shí)保持空間分辨率；

全局特征提取分支由卷積與全連接層()構(gòu)成以學(xué)習(xí)一個(gè)固定尺寸的全局特征。

高分辨率分支 為盡可能的降低整體的計(jì)算復(fù)雜度，高分辨率分會應(yīng)當(dāng)簡單且易于并行。對于全分辨率輸入，提取特征。它有兩個(gè)作用：(1) 生成參考圖；(2)局部仿射模型的回歸變量。 定義為全分辨率圖像的線性仿射變換，。其中，表示的顏色放射矩陣，更多參數(shù)見原文。

重建分支 最終的模型輸入可以通過全分辨率特征與仿射參數(shù)計(jì)算得到：.

評價(jià)指標(biāo)

關(guān)于圖像質(zhì)量評價(jià)的指標(biāo)可以參考：參考鏈接。這里僅僅列舉了幾種較為常見的評價(jià)指標(biāo)。

VMAF 1

VMAF 2

小結(jié)

從數(shù)據(jù)層面可以劃分為：低光圖像與暗光圖像。 低光圖像增強(qiáng)則更多是在RGB層面進(jìn)行處理；而暗光圖像增強(qiáng)則是在RAW層面進(jìn)行處理。

從網(wǎng)絡(luò)架構(gòu)方面可以劃分為：基于UNet的架構(gòu)與基于Retinex的架構(gòu)。 UNet架構(gòu)是一種更具通用性的架構(gòu)，但其存在不可控性因素，最終生成圖像無法進(jìn)行人工調(diào)控； Retinex架構(gòu)則是參考了傳統(tǒng)圖像增強(qiáng)中的Retinex理論與深度網(wǎng)絡(luò)技術(shù)而提出的方案，其架構(gòu)可以賦予人工交互因子，可控性稍高。

從損失函數(shù)方面可以劃分為：單一損失函數(shù)(等損失)與組合損失函數(shù)( + 感知損失等)。 單一損失函數(shù)(如)往往會導(dǎo)致生成圖像的模糊、顏色失真等現(xiàn)象； 組合損失函數(shù)可以在一定程度避免上述現(xiàn)象，但有可能出現(xiàn)紋理失真現(xiàn)象。

審核編輯：劉清