細(xì)粒度圖像分析(fine-grained image analysis,FGIA)是計(jì)算視覺(jué)領(lǐng)域的基礎(chǔ)問(wèn)題，由于面臨的問(wèn)題與其他視覺(jué)任務(wù)相比具有顯著的差異，細(xì)粒度圖像分析任務(wù)在發(fā)展過(guò)程中面臨著獨(dú)特的挑戰(zhàn)。

近年來(lái)隨著深度學(xué)習(xí)發(fā)展和數(shù)據(jù)特征表示的進(jìn)步，F(xiàn)GIA也取得了一系列進(jìn)展。來(lái)自曠視南京研究院的研究人員們對(duì)近年來(lái)基于深度學(xué)習(xí)FGIA的發(fā)展進(jìn)行了系統(tǒng)的梳理和分類，同時(shí)給出了一系列行業(yè)內(nèi)具體的應(yīng)用實(shí)例，最后從目前面臨的挑戰(zhàn)和開(kāi)放問(wèn)題中展望了這一領(lǐng)域的發(fā)展趨勢(shì)和研究方向。

細(xì)粒度圖像分析所面臨的任務(wù)是分析和處理某個(gè)類別目標(biāo)下的一系列子類別的問(wèn)題，例如狗的類別下包含了各種不同外形、顏色、身材的狗。這一任務(wù)最大的挑戰(zhàn)在于子類間的差異很小，而在同一類別中的對(duì)象卻因?yàn)樽藨B(tài)、大小或者位置呈現(xiàn)出較大的差別。

如何通過(guò)準(zhǔn)確的特征表述，從細(xì)微的不同中辨別出不同的子類別，是細(xì)粒度圖像分析任務(wù)所面臨的最大挑戰(zhàn)。

細(xì)粒度圖像分析的主要任務(wù)是從同一父類中辨別出不同子類間的差異。

目前細(xì)粒度圖像分析主要分為識(shí)別、檢索和生成三個(gè)部分，在學(xué)術(shù)界和產(chǎn)業(yè)界扮演了重要的作用：從生物領(lǐng)域的監(jiān)測(cè)和識(shí)別到零售領(lǐng)域的商品處理，從天氣和氣候變化分析到交通運(yùn)輸，細(xì)粒度圖像分析擁有廣泛的應(yīng)用前景。

研究人員們?cè)诟鞔箜敃?huì)上也發(fā)表了大量研究成果，舉辦了諸多FGIA的比賽，例如魚(yú)類識(shí)別和鯨魚(yú)識(shí)別等，也為FGIA指明了一系列未來(lái)的發(fā)展方向。

細(xì)粒度圖像識(shí)別

細(xì)粒度圖像識(shí)別任務(wù)是FGIA中最為活躍的研究領(lǐng)域，目前的研究思路重要分為三個(gè)方向：

一種是基于定位與分類的方法來(lái)實(shí)現(xiàn)；

另一種則直接利用端到端的方法實(shí)現(xiàn)特征編碼從而進(jìn)行識(shí)別；

最后一種則依賴于容易獲取的外部信息進(jìn)行輔助以實(shí)現(xiàn)細(xì)粒度圖像識(shí)別。

定位-分類方法將細(xì)粒度圖像識(shí)別轉(zhuǎn)換成了兩個(gè)細(xì)分的子任務(wù)。首先通過(guò)對(duì)圖像中細(xì)粒度目標(biāo)的可識(shí)別語(yǔ)義部分進(jìn)行抽取作為中介，隨后利用模型構(gòu)建起對(duì)于這些部分的特征表達(dá)并分類來(lái)實(shí)現(xiàn)。

這需要一個(gè)用于定位這些類別關(guān)鍵部分的子網(wǎng)絡(luò)，和一個(gè)可以對(duì)這些關(guān)鍵部分進(jìn)行有效分類的子網(wǎng)絡(luò)。通常研究人員們會(huì)使用bbox框或者語(yǔ)義分割掩膜等來(lái)為關(guān)鍵部分定位?；诙说蕉说姆椒▌t直接從數(shù)據(jù)中學(xué)習(xí)可辨別的特征表達(dá)，構(gòu)建出強(qiáng)大的細(xì)粒度識(shí)別算法。例如雙線心CNN方法利用高階統(tǒng)計(jì)特征來(lái)提高中級(jí)cnn的學(xué)習(xí)能力，但過(guò)高的維度限制了這種方法在大規(guī)模數(shù)據(jù)中的現(xiàn)實(shí)應(yīng)用。

最近研究人員利用低維嵌入的聚合以及雙線性特征的近似等方法來(lái)改進(jìn)端到端模型，并設(shè)計(jì)了特殊的損失函數(shù)來(lái)驅(qū)動(dòng)模型學(xué)習(xí)出細(xì)粒度的表達(dá)。外部信息輔助下的細(xì)粒度圖像識(shí)別充分利用了文本、網(wǎng)絡(luò)數(shù)據(jù)、多模態(tài)數(shù)據(jù)和人類的幫助來(lái)更有效地進(jìn)行細(xì)粒度任務(wù)。由于人類標(biāo)記的數(shù)據(jù)成本很高，研究人員開(kāi)始選用互聯(lián)網(wǎng)上帶有弱標(biāo)簽和噪聲的數(shù)據(jù)。

其中一種方法是為需要測(cè)試的類別爬取含有標(biāo)記噪聲的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，其主要的研究方向在于克服標(biāo)記數(shù)據(jù)與易獲取網(wǎng)絡(luò)數(shù)據(jù)間的差距、減小噪聲數(shù)據(jù)的負(fù)面影響。研究人員通常使用對(duì)抗學(xué)習(xí)和注意力機(jī)制來(lái)處理。

另一種方式是將良好標(biāo)記類別上學(xué)習(xí)的能力遷移到測(cè)試類別上，通常采用元學(xué)習(xí)和無(wú)樣本學(xué)習(xí)方法。

除了網(wǎng)絡(luò)數(shù)據(jù)外，研究人員們還使用多模態(tài)數(shù)據(jù)進(jìn)行輔助學(xué)習(xí)，包括自然語(yǔ)言描述和知識(shí)圖譜等數(shù)據(jù)都是輔助細(xì)粒度圖像識(shí)別的有力工具，實(shí)現(xiàn)視覺(jué)與語(yǔ)言的聯(lián)合表示。

最后人工智能中一定需要人的參與，通過(guò)將難識(shí)別的樣本、關(guān)鍵特征定位等任務(wù)加入人與機(jī)器的合作來(lái)實(shí)現(xiàn)更好的細(xì)粒度識(shí)別。

細(xì)粒度圖像檢索

圖像檢索也是細(xì)粒度圖像分析中重要的一部分，在給定某類圖像的前提下可以從數(shù)據(jù)庫(kù)中返回相同的子類，而無(wú)需其他的監(jiān)督信號(hào)。但與通常檢索不同的是，細(xì)粒度任務(wù)所要檢索的對(duì)象都是極為相似的子類別內(nèi)容，子類間僅僅只有細(xì)微的差異，而同一目標(biāo)則因?yàn)槲蛔?、尺度和旋轉(zhuǎn)的不同而差異巨大。

這一任務(wù)在電子商務(wù)和在線平臺(tái)上有著巨大的需求，近年來(lái)研究人員利用深度學(xué)習(xí)的方法探索了對(duì)于圖像中關(guān)鍵對(duì)象或部分的深度表達(dá)，發(fā)現(xiàn)新的損失函數(shù)和子結(jié)構(gòu)來(lái)對(duì)這一問(wèn)題進(jìn)行處理。

細(xì)粒度圖像生成

隨著無(wú)監(jiān)督學(xué)習(xí)和圖像生成領(lǐng)域的發(fā)展，研究人員們開(kāi)始探索細(xì)粒度的圖像合成問(wèn)題，包括人臉、人體和不同環(huán)境下的物體合成都展開(kāi)了一系列研究。

例如結(jié)合變分自編碼器和生成對(duì)抗方法的CVAE-GAN方法基于概率模型構(gòu)建了標(biāo)簽和隱含屬性，通過(guò)細(xì)粒度的類別來(lái)引導(dǎo)生成模型進(jìn)行細(xì)粒度的圖像生成。還有研究人員利用文本描述的方法結(jié)合生成模型得到具有細(xì)粒度特征的合成結(jié)果。

數(shù)據(jù)和基準(zhǔn)

目前在細(xì)粒度圖像領(lǐng)域有一系列基準(zhǔn)數(shù)據(jù)，包括了動(dòng)植物、飛機(jī)、零售商品等，這些數(shù)據(jù)不僅為這個(gè)領(lǐng)域的算法提供了有效的測(cè)評(píng)基準(zhǔn)，同時(shí)也推動(dòng)了這一領(lǐng)域的不斷進(jìn)步。作者在下表列出了常見(jiàn)的FGIA數(shù)據(jù)，包括了元類別、數(shù)量、標(biāo)簽類別等：

值得注意的是CUB200-2011數(shù)據(jù)是一個(gè)使用最為廣泛的數(shù)據(jù)集，數(shù)據(jù)包含了詳盡的標(biāo)簽，包括部分標(biāo)注、屬性標(biāo)簽甚至是一段對(duì)應(yīng)的自然語(yǔ)言描述，近年來(lái)研究人員還在不斷拓展這個(gè)數(shù)據(jù)。

此外還有很多數(shù)據(jù)集在不斷地放出，人們更深入地研究新穎的特征、大規(guī)模、多層級(jí)的結(jié)構(gòu)、域間的差異和數(shù)據(jù)長(zhǎng)尾分布等，同時(shí)更多的研究如何在真實(shí)場(chǎng)景中進(jìn)行有效落地。

廣泛的應(yīng)用

細(xì)粒度的圖像分析在產(chǎn)業(yè)界中有諸多的應(yīng)用，包括推薦系統(tǒng)中的衣服鞋帽檢索、時(shí)尚識(shí)別，電子商務(wù)網(wǎng)站中的產(chǎn)品檢索等等。此外人臉識(shí)別也可以視為細(xì)粒度圖像識(shí)別的一個(gè)子問(wèn)題，針對(duì)的是人臉這個(gè)類別下的身份細(xì)粒度識(shí)別。同時(shí)行人和車輛的重識(shí)別問(wèn)題也是細(xì)粒度識(shí)別問(wèn)題的一種體現(xiàn)。

FGIA將為會(huì)這些具體的問(wèn)題提供一系列解決方案，包括可識(shí)別特征的捕捉和層層遞進(jìn)的信息結(jié)構(gòu)等，都為這些領(lǐng)域的發(fā)展做出了貢獻(xiàn)。

開(kāi)放的問(wèn)題

盡管細(xì)粒度圖像分析在近年來(lái)取得了一系列的進(jìn)步，但在很多方面還存在一系列開(kāi)放問(wèn)題值得進(jìn)一步深度地研究，在文章的最后研究人員提出了四個(gè)未來(lái)潛在的發(fā)展方向，為未來(lái)的研究給出了建議。1. 自動(dòng)化的細(xì)粒度建模。隨著自動(dòng)機(jī)器學(xué)習(xí)AutoML和自動(dòng)架構(gòu)搜索NAS的發(fā)展，未來(lái)細(xì)粒度機(jī)器學(xué)習(xí)將通過(guò)這些方法提高建模的效率和精度，并將尋找到表現(xiàn)更好的模型，同時(shí)也將反過(guò)來(lái)促進(jìn)自動(dòng)機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展。2. 細(xì)粒度小樣本學(xué)習(xí)。人類可以通過(guò)少量的樣本抽象出對(duì)于某個(gè)類型的認(rèn)識(shí)。目前最好的深度學(xué)習(xí)模型也需要眾多樣本進(jìn)行學(xué)習(xí)，既耗時(shí)也需要大量的數(shù)據(jù)成本。而細(xì)粒度圖像識(shí)別擁有比粗尺度更為精細(xì)的標(biāo)簽，未來(lái)研究人員也許會(huì)利用更小的樣本數(shù)量來(lái)對(duì)分類器進(jìn)行訓(xùn)練，強(qiáng)化FGIA的實(shí)用性和應(yīng)用規(guī)模。3. 細(xì)粒度哈希。隨著這一領(lǐng)域的應(yīng)用和數(shù)據(jù)規(guī)模的擴(kuò)大，檢索的難度也隨之加大。哈希作為一種有效的領(lǐng)域搜索技術(shù)正在受到人們的關(guān)注，對(duì)于細(xì)粒度圖像檢索的哈希研究將有望成為處理大規(guī)模數(shù)據(jù)問(wèn)題的有效手段。4. 真實(shí)細(xì)粒度分析。為了適應(yīng)真實(shí)應(yīng)用場(chǎng)景需要進(jìn)一步研究在各種真實(shí)條件下的FGIA問(wèn)題，例如在超市貨架上的商品和野外的動(dòng)物細(xì)粒度分析問(wèn)題中，無(wú)法控制環(huán)境和對(duì)象的條件，這會(huì)對(duì)視覺(jué)任務(wù)帶來(lái)一系列挑戰(zhàn)。隨著這一領(lǐng)域的發(fā)展，算法和模型將會(huì)具有更強(qiáng)的域適應(yīng)性，基于知識(shí)遷移、長(zhǎng)尾數(shù)據(jù)以及在資源受限的端上運(yùn)行的細(xì)粒度圖像分析將會(huì)有更多深入的研究，實(shí)現(xiàn)更加先進(jìn)和可用的FGIA系統(tǒng)。