作者：SFXiang
首發(fā)：AI算法修煉營

今天給大家介紹一篇圖像超分辨率鄰域的綜述，這篇綜述總結(jié)了圖像超分辨率領(lǐng)域的幾方面：problem settings、數(shù)據(jù)集、performance metrics、SR方法、特定領(lǐng)域應(yīng)用以結(jié)構(gòu)組件形式，同時，總結(jié)超分方法的優(yōu)點與限制。討論了存在的問題和挑戰(zhàn)，以及未來的趨勢和發(fā)展方向。

1.前言

超分辨率（Super Resolution，SR）是從給定的低分辨率(LR)圖像中恢復(fù)高分辨率(HR)圖像的過程，是計算機視覺的一個經(jīng)典應(yīng)用。SR是指通過軟件或硬件的方法，從觀測到的低分辨率圖像重建出相應(yīng)的高分辨率圖像（說白了就是提高分辨率），在監(jiān)控設(shè)備、衛(wèi)星圖像遙感、數(shù)字高清、顯微成像、視頻編碼通信、視頻復(fù)原和醫(yī)學(xué)影像等領(lǐng)域都有重要的應(yīng)用價值。

近年來，目睹了使用深度學(xué)習(xí)技術(shù)的圖像超分辨率的顯著進步。文中將現(xiàn)有的使用深度學(xué)習(xí)方法解決圖像超分辨率問題的研究工作主要分成三個部分：

1.supervised SR（有監(jiān)督學(xué)習(xí)的圖像超分辨率）
2.unsupervised SR（無監(jiān)督學(xué)習(xí)的圖像超分辨率）
3.domain-specific SR （特定應(yīng)用領(lǐng)域的圖像超分辨率）

2.超分辨率SR問題定義

其中，Φ(θ)是正則化項，SR最常見的損失函數(shù)為逐像素差的均方誤差，更強大的模型往往采用將多種損失函數(shù)相結(jié)合的方式。

3.數(shù)據(jù)集

一些數(shù)據(jù)集提供HR-LR圖像對，有的只提供HR圖像，LR圖像通常是通過MATLAB中默認設(shè)置的imresize函數(shù)（雙三次插值with anti-aliasing）獲得。下表是一些SR常用數(shù)據(jù)集：

4.圖像質(zhì)量評估

如何定量地評估模型的性能？許多圖像質(zhì)量評估(IQA)技術(shù)(或度量)用于相同的目的。這些指標可以大致分為兩類——主觀指標和客觀指標。

峰值信噪比 PSNR

峰值信噪比(PSNR)是一種常用的客觀指標，通常用來衡量有損變換的圖像質(zhì)量。對于SR，通過圖片間的最大可能像素值L和均方誤差MSE定義，PSNR與ground truth圖像與生成圖像的均方誤差(MSE)的對數(shù)成反比。假設(shè)HR圖像I和重建圖像 ? I，兩者的像素都是N，MSE和PNSR(db)如下所示：

在上面的公式中，8bit表示一個像素點的取值，取值范圍為0~255，L是可能的最大像素值(對于8位RGB圖像，它是255),PSNR的典型值從20到40不等，越高越好。從式子可以看出，L一定，PNSR只與像素間的MSE有關(guān)，所以，PSNR只關(guān)心像素值之間的差異，它并不能很好地代表感知質(zhì)量。PSNR在真實場景的SR衡量效果較差，但由于缺乏感知衡量標準，運用最為廣泛。

結(jié)構(gòu)相似度 SSIM

Operating Channels

除了RGB，YCbCr顏色空間也被廣泛使用。Y, Cb, Cr 分別表示亮度、藍差、紅差色度分量。早期的模型更傾向于在Y通道上進行操作，最近的模型更多的處理RGB顏色通道。在不同的顏色空間或者通道上操作會使評估的性能造成很大的不同。

其他的IQA分數(shù)

平均意見評分(MOS)

基于任務(wù)的評價

信息保真度準則(IFC)

視覺信息保真度(VIF)

5.監(jiān)督式SR方法

深度學(xué)習(xí)可以用給定的低分辨率圖像來估計高分辨率圖像。通過使用高分辨率圖像作為目標(或 ground-truth)和LR圖像作為輸入，我們可以將其視為監(jiān)督學(xué)習(xí)問題。監(jiān)督式SR方法是同時使用LR和相應(yīng)的HR圖像進行訓(xùn)練。

監(jiān)督式SR方法框架

通過上采樣模塊在模型中的位置，可以將這些模型分為四個框架。

1、前置上采樣SR

該方法首先對低分辨率圖像進行插值，得到“粗”的高分辨率圖像。

直接從LR圖像學(xué)習(xí)HR圖像存在一定難度，利用傳統(tǒng)方法（雙三次插值）上采樣，在通過神經(jīng)網(wǎng)絡(luò)優(yōu)化重建高質(zhì)量的細節(jié)，是一種直接的解決方案。SRCNN學(xué)習(xí)經(jīng)過插值處理的LR圖像到HR圖像之間的映射。

優(yōu)點：通過傳統(tǒng)算法進行上采樣，神經(jīng)網(wǎng)絡(luò)只需要對粗HR圖像進行精細化處理，大大降低了學(xué)習(xí)難度?？梢詫⑷我獯笮〉牟逯堤幚砗蟮膱D像作為輸入，效果與單尺度模型相當。

預(yù)先上采樣方法的副作用：噪聲放大、模糊、在高維空間計算造成的時間和空間成本大。由于這里沒有使用轉(zhuǎn)置卷積，checkerboard artifacts可能會被繞過。

2、后置上采樣SR

在這種情況下，低分辨率圖像被傳遞到CNNs。上采樣在最后一層使用可學(xué)習(xí)層來執(zhí)行。將上采樣操作移至網(wǎng)絡(luò)末端，在低維空間中學(xué)習(xí)映射。

該方法的優(yōu)點是在較低維空間(上采樣前)進行特征提取，從而降低了計算復(fù)雜度。此外，通過使用一個可學(xué)習(xí)的上采樣層，可以對模型進行端到端的訓(xùn)練。分辨率提升只在網(wǎng)絡(luò)后端發(fā)生，計算復(fù)雜度大大提升。上采樣只在一個步驟中進行，學(xué)習(xí)大的上采樣因子的難度很大。每個尺度都需要單獨的SR模型，無法滿足多尺度SR的需要。

3、逐步上采樣SR

在上面的組中，雖然計算復(fù)雜度降低了，但是只使用了一個上采樣卷積。這使得大尺度縮放的學(xué)習(xí)過程更加困難。為了解決這個缺陷，Laplacian Pyramid SR Network和progressive SR采用了漸進上采樣的框架。在這種情況下，模型使用級聯(lián)神經(jīng)網(wǎng)絡(luò)在較小的尺度上每一步逐步重建高分辨率的圖像。

通過將一個困難的任務(wù)分解成更簡單的任務(wù)，可以大大降低學(xué)習(xí)難度，獲得更好的性能。此外，像curriculum learning這樣的學(xué)習(xí)策略可以進一步降低學(xué)習(xí)難度，提高最終的performance。lapSRN 采用漸進式SR框架解決了Post-upsampling SR框架無法滿足的多尺度問題。采用連續(xù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，逐步重建高分辨率圖片。MS-LapSRN和progressive SR也采用了這個框架。但存在模型復(fù)雜、訓(xùn)練難度大的問題。

4、迭代上下采樣SR

另一種流行的模型架構(gòu)是hourglass(或U-Net)結(jié)構(gòu)。有些變體，如Stacked Hourglass網(wǎng)絡(luò)使用幾個連續(xù)的hourglass結(jié)構(gòu)，有效地在上采樣和下采樣過程之間交替。

該框架下的模型能夠更好地挖掘出低分辨率圖像和高分辨率圖像對之間的深層關(guān)系，從而提供更高質(zhì)量的重建結(jié)果。為了探究LR-HR圖像對之間的關(guān)系，將一種有效的迭代過程——反向投影引入到SR中，迭代的上采樣-下采樣操作，迭代的應(yīng)用反向投影精細化圖像。計算重建誤差，再將其融合回來調(diào)整HR圖像的強度。DBPN采用這種結(jié)構(gòu)，將一系列中間HR結(jié)果聯(lián)系起來重構(gòu)成最后的HR結(jié)果。

6.上采樣方法

除了模型中的上采樣位置外，如何執(zhí)行上采樣也非常重要。盡管存在多種傳統(tǒng)的上采樣方法，但利用CNN來學(xué)習(xí)端到端的上采樣已逐漸成為一種趨勢。在本節(jié)中，我們將介紹一些傳統(tǒng)的基于插值的算法和基于深度學(xué)習(xí)的上采樣方法。

上采樣方法有：

1、最近鄰插值和雙線性插值

最近鄰插值：每個待插值的位置選擇最相鄰的像素值，而不考慮其他像素，處理速度快，生成圖片質(zhì)量低、塊狀化。

雙線性插值：每次在一個軸上進行，然后在另一個軸上再次進行。保持速度較快的同時，性能比最近鄰插值好得多。感受野為2*2雙三次插值同樣，雙三次插值對圖像的兩個維度進行三次插值，需要4x4的像素進行計算，計算速度慢，效果更平滑。anti-aliasing的雙三次插值是目前構(gòu)造SR數(shù)據(jù)集的主流方法。

基于插值的上采樣方法只能通過圖像的本身內(nèi)容提高圖像的分辨率，并沒有帶來更多信息，相反還有噪聲放大、計算復(fù)雜度增加、結(jié)果模糊等副作用。

2、轉(zhuǎn)置卷積

通過插入零值，進行卷積來提高圖像的分辨率。由于轉(zhuǎn)置卷積在保持與卷積兼容的連接模式的同時以端到端的方式放大了圖像大小，因此它被廣泛用作SR模型的上采樣層。

然而，該層很容易在每個軸上引起“不均勻重疊”，并且兩個軸上的相乘結(jié)果進一步創(chuàng)建了大小變化的棋盤狀圖案，從而損害了SR性能。

3、亞像素層

與轉(zhuǎn)置卷積層相比，亞像素層具有更大的感受野，它提供了更多的上下文信息以幫助生成更多逼真的細節(jié)。然而，由于感受野的分布是不均勻的，并且塊狀區(qū)域?qū)嶋H上共享相同的感受野，因此可能會導(dǎo)致在不同塊的邊界附近出現(xiàn)一些偽影。另一方面，獨立預(yù)測塊狀區(qū)域中的相鄰像素可能會導(dǎo)致輸出不平滑。

4、Meta upscale module

以前的方法需要預(yù)先定義縮放因子，即針對不同的因子訓(xùn)練不同的上采樣模塊，效率低下，而且不符合實際需求。Meta upscale 模塊基于元學(xué)習(xí)解決任意比例因子的SR。具體來說，對于HR圖像上的每個目標位置，此模塊將其投影到LR特征圖上的一個小塊（即k ×k×cin），根據(jù)密集層的投影偏移和縮放因子預(yù)測卷積權(quán)重（即，k×k×cin×cout）并執(zhí)行卷積。

這樣，Meta upscale module可以通過單個模型以任意因子連續(xù)放大它。并且由于大量的訓(xùn)練數(shù)據(jù)（同時訓(xùn)練多個因素），該模塊在固定因素上可以表現(xiàn)出相當甚至更好的性能。但是，該方法基于與圖像內(nèi)容無關(guān)的多個值來預(yù)測每個目標像素的大量卷積權(quán)重，因此當面對較大放大倍數(shù)時，預(yù)測結(jié)果可能不穩(wěn)定且效率較低。

7.常用網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

除了經(jīng)典的2D卷積，網(wǎng)絡(luò)中還可以使用一些有趣的變體來改進結(jié)果。Dilated卷積可以提供更有效的感受野，因此可以使用長距離依賴的信息。Skip connections、Spatial Pyramid Pooling和Dense Blocks推動了低級特征和高級特征的結(jié)合，以提高性能。

1、Residual Learning

全局殘差學(xué)習(xí)：由于輸入與輸出圖像高度相關(guān)，研究者嘗試只學(xué)習(xí)兩幅圖像的殘差，只需要學(xué)習(xí)一個殘差映射恢復(fù)丟失的高頻細節(jié)，大大降低了模型的復(fù)雜度和難度。

局部殘差學(xué)習(xí)：用于緩解網(wǎng)絡(luò)不斷加深造成的梯度消失、爆炸的問題，增強網(wǎng)絡(luò)的學(xué)習(xí)能力。

由跳躍連接和逐像素加法進行計算，前者連接輸入與輸出，后者在不同網(wǎng)絡(luò)層之間進行連接。

2、Recursive Learning

為了實現(xiàn)更大的感受野和進行更高層次的特征學(xué)習(xí)并且避免更多的參數(shù)，將遞歸引入模型。16個循環(huán)的DRCN采用單卷積層遞歸，感受野達到41×41，遠大于SRCNN的13×13，并且沒有過多參數(shù)。

DRRN將殘差塊作為遞歸單元進行25次遞歸，性能優(yōu)于17個殘差塊的非遞歸基線。

后來Tai等人提出了基于記憶塊的MemNet，記憶塊由6個遞歸殘塊組成，每個遞歸的輸出連接起來，再經(jīng)過一個額外的1×1卷積進行記憶和遺忘。CARN也采用了包含多個殘差塊的遞歸單元。

Han等提出了雙狀態(tài)遞歸網(wǎng)絡(luò)(dual-state network, DSRN)來交換HR狀態(tài)和LR狀態(tài)之間的信號。在每個時間步，它們根據(jù)當前LR狀態(tài)和HR狀態(tài)更新LR狀態(tài)，然后將其傳輸?shù)紿R狀態(tài)進行更新。通過雙態(tài)遞歸學(xué)習(xí)(最多7次遞歸)，更好地探索了LR-HR圖像對之間的深層關(guān)系。而Lai不僅將卷積層作為遞歸層，還將特征嵌入模塊、特征上采樣模塊和圖像上采樣模塊作為遞歸模塊，對每個子問題共享參數(shù)。

遞歸學(xué)習(xí)使得參數(shù)的數(shù)量大大減少，但帶來了梯度消失和梯度爆炸的問題。因此通常將殘差學(xué)習(xí)和遞歸學(xué)習(xí)結(jié)合來緩解這些問題。

3、Multi-path Learning

多路徑學(xué)習(xí)是指通過模型的多個路徑傳遞特性，這些路徑執(zhí)行不同的操作，以提供更好的建模能力。具體來說，它可以分為三種類型：

Global Multi-path Learning：全局多路徑學(xué)習(xí)是指利用多個路徑提取圖像不同方面的特征。這些路徑在傳播過程中可以相互交叉，從而大大提高了特征提取的能力。

LapSRN包含一種從粗到細預(yù)測子帶殘差的特征提取路徑，以及一種基于兩種路徑信息重構(gòu)可見HR圖像的圖像重建路徑。

同樣，DSRN利用LR路徑和HR路徑分別在低維空間和高維空間中提取信息。這兩條路徑不斷交換信息，進一步提高學(xué)習(xí)能力。

Local Multi-path Learning：MSRN采用了一種新的多尺度特征提取塊，如上圖所示，在該塊中，采用核大小為3×3和5×5的兩個卷積運算同時提取特征，然后將輸出串接起來，再次進行相同的運算，最后再進行一個額外的1×1卷積。，最后再進行一個額外的1×1卷積。跳躍連接通過elementwise加法連接此塊的輸出和輸入。通過這種局部多路徑學(xué)習(xí)，SR模型可以更好地從多個尺度提取圖像特征，進一步提高性能。

Scale-speci?c Multi-path Learning：不同尺度要經(jīng)歷相同的特征提取過程，提出這種結(jié)構(gòu)，來處理單一網(wǎng)絡(luò)下的多尺度SR問題。

具體來說，它們共享模型的主要部分，并在網(wǎng)絡(luò)的開始端和結(jié)束端分別附加特定尺度的預(yù)處理路徑和上采樣路徑。在訓(xùn)練期間，只啟用與所選比例相對應(yīng)的路徑。通過這種方式，大多數(shù)參數(shù)可以在不同的尺度上共享。

4、Dense Connections

5、Channel Attention

6、Advanced Convolution

Dilated Convolution. 空洞卷積，增大感受野，有助于生成逼真的細節(jié)

Group Convolution：群卷積。一些工作已經(jīng)證明，群卷積可以在性能不高的情況下減少大量的參數(shù)和運算，而CARN-M在性能損失很小的情況下將參數(shù)數(shù)量減少了5倍，運算減少了4倍。

7、Pixel Recursive Learning

大多數(shù)SR模型將SR看作是一個像素獨立的任務(wù)，因此不能合理地獲取生成像素之間的相互依賴關(guān)系。

受PixelCNN的啟發(fā)，Dahl等首先提出像素遞歸學(xué)習(xí)，利用兩個網(wǎng)絡(luò)分別捕獲全局上下文信息和序列生成依賴關(guān)系，逐像素生成。雖然這些方法在一定程度上表現(xiàn)出了較好的性能，但是需要較長的傳播路徑的遞歸過程大大增加了計算成本和訓(xùn)練難度，特別是對于超分辨率HR圖像。

8、Pyramid Pooling

受空間金字塔池層的激勵，提出了金字塔池模塊，以更好地利用全局和局部上下文信息。

9、Wavelet Transformation

10、Desubpixel

11、xUnit

8.常用損失函數(shù)

利用損失函數(shù)來測量生成的高分辨率圖像與ground truth高分辨率圖像之間的差異。然后用這個差(誤差)來優(yōu)化監(jiān)督學(xué)習(xí)模型。存在幾種類型的損失函數(shù)，每一種函數(shù)都對生成的圖像的不同方面進行懲罰。

通常，通過對每個損失函數(shù)的誤差分別加權(quán)和求和，可以使用多個損失函數(shù)。這使得模型能夠同時關(guān)注多個損失函數(shù)所貢獻的方面。

total/_loss = weight/_1 * loss/_1 + weight/_ 2 * loss/_2 + weight/_3 * loss/_3

像素損失

像素損失是最簡單的一類損失函數(shù)，其中生成的圖像中的每個像素都直接與ground-truth圖像中的每個像素進行比較。使用流行的損失函數(shù)，如L1或L2損失，或高級變體，如smooth L1損失。

PSNR度量(下面討論)與像素損失高度相關(guān)，因此最小化像素損失可以直接最大化PSNR度量值(表明性能良好)。然而，像素損失并沒有考慮到圖像質(zhì)量，而且模型常常輸出感知上不令人滿意的結(jié)果(通常缺乏高頻細節(jié))。

內(nèi)容損失

這種損失是基于圖像的感知質(zhì)量來評估圖像質(zhì)量的。一種有趣的方法是比較生成的圖像和ground truth圖像的高層特征。我們可以讓圖像通過一個預(yù)先訓(xùn)練好的圖像分類網(wǎng)絡(luò)(如VGG-Net或ResNet)來獲得這些高級特征。

上面的函數(shù)計算ground-truth圖像和生成的圖像之間的內(nèi)容損失，給定pre-trained網(wǎng)絡(luò)(Φ)，和第I層的輸出，網(wǎng)絡(luò)計算這兩者的損失。這種損失鼓勵生成的圖像在感知上類似于ground-truth圖像。由于這個原因，它也被稱為感知損失。

紋理損失

為了使生成的圖像具有與ground-truth圖像相同的樣式(紋理、顏色、對比度等)，使用紋理損失(或樣式重建損失)。根據(jù)Gatys et. al的描述，圖像的紋理被定義為不同特征通道之間的相關(guān)性。特征通道通常用預(yù)訓(xùn)練的圖像分類網(wǎng)絡(luò)(Φ)來提取。

對抗損失

生成對抗網(wǎng)絡(luò)(GANs)已越來越多地用于包括超分辨率在內(nèi)的幾種基于圖像的應(yīng)用。GANs通常由兩個神經(jīng)網(wǎng)絡(luò)組成——生成器和鑒別器——相互競爭。

給定一組目標樣本，生成器嘗試生成樣本，以欺騙鑒別器，使其相信它們是真實的。鑒別器試圖從假(生成的)樣本中分辨出真實(目標)樣本。使用這種迭代訓(xùn)練方法，我們最終得到一個生成器，它非常擅長生成與目標示例類似的示例。下圖顯示了一個典型GAN的結(jié)構(gòu)。

為了提高性能，對基本GAN體系結(jié)構(gòu)進行了改進。例如，Park et. al使用特征級鑒別器來捕捉真實高分辨率圖像的更有意義的潛在屬性。你可以查看這個blog：https://medium.com/beyondmind...

通常情況下，進行對抗損失訓(xùn)練的模型具有更好的感知質(zhì)量，即使它們在PSNR上可能比那些進行像素損失訓(xùn)練的模型要差。一個小缺點是，GAN的訓(xùn)練過程有點困難和不穩(wěn)定。但是，目前正在積極研究穩(wěn)定的GAN的訓(xùn)練的方法。

9.特定領(lǐng)域的應(yīng)用

1、深度圖超分辨率

深度圖記錄了場景中視點和目標之間的距離，深度信息在姿態(tài)估計 、語義分割 等許多任務(wù)中發(fā)揮著重要作用。然而，由于生產(chǎn)力和成本方面的限制，由深度傳感器生成的深度圖通常分辨率較低，并飽受噪聲、量化、缺失值等方面的降級影響。為了提高深度圖的空間分辨率，研究人員引入了超分辨率。

2、人臉圖像超分辨率

人臉圖像超分辨率（又名 face hallucination，F(xiàn)H）通常有助于完成其它與人臉相關(guān)的任務(wù)。與一般圖像相比，人臉圖像擁有更多與人臉相關(guān)的結(jié)構(gòu)化信息，因此將人臉先驗知識整合到 FH 中是一種非常流行且頗有前景的方法。

3、超光譜圖像超分辨率

與全色圖像（panchromatic image，PAN）相比，超光譜圖像（HSI）包含數(shù)百個波段的高光譜圖像，能夠提供豐富的光譜特征，幫助完成許多視覺任務(wù)。然而，由于硬件限制，不僅是搜集高質(zhì)量 HSI 比搜集 PAN 難度更大，搜集到的 HSI 分辨率也要更低。因此，該領(lǐng)域引入了超分辨率，研究人員往往將 HR PAN 與 LR HSI 相結(jié)合來預(yù)測 HR HSI。

4、視頻超分辨率

在視頻超分辨率中，多個幀可以提供更多的場景信息，該領(lǐng)域不僅有幀內(nèi)空間依賴，還有幀間時間依賴（如運動、亮度和顏色變化）。因此，現(xiàn)有研究主要關(guān)注更好地利用時空依賴，包括明確的運動補償（如光流算法、基于學(xué)習(xí)的方法）和循環(huán)方法等。

5、其它應(yīng)用

基于深度學(xué)習(xí)的超分辨率也被應(yīng)用到其它特定領(lǐng)域的應(yīng)用中，而且表現(xiàn)出色。尤其是，RACNN 利用 SR 模型增強了用于細粒度分類的 LR 圖像細節(jié)的可辨性。類似地，感知 GAN 通過超分辨小目標的表征解決了小目標檢測問題，實現(xiàn)了與大目標相似的特征，檢測更具可辨性。FSR-GAN超分辨化了特征空間而非像素空間中的小圖像，將質(zhì)量較差的原始特征轉(zhuǎn)換成了可辨性更高的特征，這對圖像檢索非常有利。此外，Dai 等人驗證了 SR 技術(shù)在若干視覺應(yīng)用中的有效性和有用性，包括邊緣檢測、語義分割、數(shù)字和場景識別。Huang 等人 開發(fā)了專門用于超分辨率遙感圖像的 RS-DRL。Jeon 等人 利用立體圖像中的視差先驗來重建配準中具有亞像素準確率的 HR 圖像。

10.未來發(fā)展方向

1、Network Design（網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計）

可考慮從如下方面改進網(wǎng)絡(luò)結(jié)構(gòu)：

Combining Local and Global Information，結(jié)合局部和全局信息，大的感受野可以提供更多的紋理信息，這樣可生成更加真實的的HR圖像。

Combining Low- and High-level Information，結(jié)合低層和高層信息，deep CNNs中的較淺層易于抽取如顏色和邊緣等低層特征，而較高層更易獲得如目標識別等高層次的特征表示，結(jié)合低層網(wǎng)絡(luò)抽取的低層細節(jié)信息和高層網(wǎng)絡(luò)抽取到的高層紋理信息可獲得效果更好的HR圖像。

Context-specific Attention，結(jié)合特定內(nèi)容的注意力機制，增強主要特征可促進生成的HR圖像具體更加真實的細節(jié)。

Lightweight Architectures，目前網(wǎng)絡(luò)結(jié)構(gòu)日趨復(fù)雜，如何減少模型大小，加快預(yù)測時間并保持性能仍然是一個研究課題。

Upsampling Layers，如何設(shè)計出有效并有效率的上采樣層是值得研究的，特別是在放大倍數(shù)較大的圖像超分辨率問題上。

2.Learning Strategies（學(xué)習(xí)策略）

Loss Functions，目前的損失函數(shù)是建立于 LR/HR/SR 圖像之間的限制并優(yōu)化層面上的。在實際應(yīng)用上，通常把這些損失函數(shù)進行加權(quán)得到，對SR問題來說，最有效的損失函數(shù)還不明確。因此，一項有意義的研究工作是，如何找到 LR/HR/SR 圖像間的潛在聯(lián)系并找到更加準確的損失函數(shù)。

Normalization，雖然BN在視覺問題上大量使用，但是在SR問題上，BN并不是最佳的規(guī)范化效果，有時使用BN反而會得到不好的效果。因此，在SR領(lǐng)域，其他有效的規(guī)范化技術(shù)是需要被提出的。

3.Evaluation Metrics（評價方法）

More Accurate Metrics，傳統(tǒng)的PSNR/SSIM圖像質(zhì)量評價方法并不能客觀反應(yīng)圖像的主觀效果，MOS方法需要大量的人力成本并且不能再現(xiàn)。因此，更加精確的圖像質(zhì)量評價方法亟待提出。

Blind IQA Methods，目前所提到的SR問題，都是LR-HR圖像對做出的，但是，在這類數(shù)據(jù)集是很難獲得的，大部分都是通過人工手段獲得的LR-HR圖像對。這樣，在評價這類問題時，就變成了反向預(yù)測退化問題的過程，因此，無依賴的圖像質(zhì)量評價方法是有很大需要的。

4.Unsupervised Super-resolution（無監(jiān)督圖像超分辨率）

文中提到了一些已有的無監(jiān)督超分辨率工作：

A. Shocher, N. Cohen, and M. Irani, “zero-shot super-resolution using deep internal learning,” in CVPR, 2018.

A. Bulat, J. Yang, and G. Tzimiropoulos, “To learn image super- resolution, use a gan to learn how to do image degradation first,” in ECCV, 2018.

Y. Yuan, S. Liu, J. Zhang, Y. Zhang, C. Dong, and L. Lin, “Unsu- pervised image super-resolution using cycle-in-cycle generative adversarial networks,” in CVPRW, 2018.

D. Ulyanov, A. Vedaldi, and V. Lempitsky, “Deep image prior,” in CVPR, 2018.

目前大量的SR方法都是使用Matlab Bicubic方法獲得LR圖像，用LR-HR作為SR網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，這樣SR問題會變成預(yù)先定義圖像退化過程的逆過程，在自然低分辨率圖像上應(yīng)用這類SR方法，效果會很不好。因此，在未來的研究領(lǐng)域，沒有LR-HR圖像對的無監(jiān)督圖像超分辨率問題是有意義的研究方向。

5.Towards Real-world Scenarios（面向真實場景）

Image super-resolution在真實場景上，往往會受到“不明確的圖像退化過程”，“缺少LR-HR圖像對”等的條件限制，使得現(xiàn)有的SR算法難以實際應(yīng)用。

Dealing with Various Degradation，解決多種圖像退化問題，針對不同方式獲得的LR圖像。目前已有一部分這方面的工作，但是存在一些固有缺點，如模型難以訓(xùn)練，過于理想的假設(shè)條件。

Domain-specific Applications，特定領(lǐng)域的應(yīng)用，SR算法不一定非要用于特定領(lǐng)域數(shù)據(jù)或場景中，SR算法同樣可協(xié)助處理其他視覺問題，如視頻監(jiān)控、人臉識別、目標跟蹤、醫(yī)學(xué)圖像、場景渲染等。SR算法可用于這類視覺問題的預(yù)處理或后處理。

Multi-scale Super-resolution，目前大部分SR網(wǎng)絡(luò)是針對固定放大尺寸訓(xùn)練的，實際應(yīng)用中，有一定局限性。使用單一網(wǎng)絡(luò)的進行多尺度圖像超分辨率，有一定的研究價值。最近在CVPR 2019上，曠視提出了“Meta-SR: A Magnification-Arbitrary Network for Super-Resolution”：單一模型實現(xiàn)任意縮放因子。是這一研究方向的最新進展。

審核編輯 黃昊宇