對風格圖像的風格進行聚類實現(xiàn)多模態(tài)表示，并對風格與內(nèi)容圖的空間特征進行匹配實現(xiàn)了具有多種模態(tài)風格的、具有內(nèi)容自適應(yīng)性風格遷移。

圖像風格遷移是一種利用風格圖像中的特征將內(nèi)容圖像渲染成類似風格圖像效果的技術(shù)，隨著深度學習的發(fā)展越來越精美的圖像被生成出來甚至可以與專業(yè)畫家相媲美。由于人們發(fā)現(xiàn)卷積特征間的相關(guān)性可以表示圖像的風格，這使得迭代優(yōu)化網(wǎng)絡(luò)參數(shù)或者利用前傳網(wǎng)絡(luò)生成風格圖像成為可能，目前的方法主要利用風格圖的預訓練模型來對任意的輸入進行風格化處理，或者抽取風格圖的特征對內(nèi)容圖進行風格化。這些方法大都假設(shè)圖像的風格可以通過格拉姆矩陣等深度特征的全局統(tǒng)計信息來描述。

盡管這些方法可以保存內(nèi)容圖像并匹配風格圖像的特征，但很多時候還是會在局部產(chǎn)生一系列扭曲和變形，造成明顯的人工痕跡。如何處理這些問題成為了風格遷移領(lǐng)域的研究難點和熱點。下圖展示了先前方法的風格遷移圖像的一些結(jié)果，其中第一列大圖為內(nèi)容圖，右下角小圖為風格圖，最后一列為本文提出的多模態(tài)風格遷移(MultimodalStyleTransfer,MST)方法：

在第一行中左下角的風格圖像中包含一系列復雜的紋理和線條，先前的方法無法區(qū)分風格圖像中不同的風格，并且對于內(nèi)容圖像不加區(qū)分地進行了風格化處理，這使得在背景天空等區(qū)域出現(xiàn)了一些較為明顯的線條，破壞了內(nèi)容圖原有的連續(xù)性。讓我們再來看看第二行，這里的風格圖像模式清晰，包含了統(tǒng)一的背景和紅色/黑色的前景。AdaIN,WCT和LST等方法都無法較好的保持內(nèi)容圖像的結(jié)構(gòu)特征，受到?jīng)_洗效應(yīng)（wash-outartifacts.）的影響使得很多內(nèi)容細節(jié)變得模糊。這主要是由于單調(diào)的背景在風格圖中占比過大，造成了背景全局風格特征中占據(jù)了主導地位。從這些結(jié)果中可以看出類似格拉姆矩陣或協(xié)方差均值這類全局單模態(tài)的統(tǒng)計表示不足以表達特征圖豐富、多模態(tài)的特征。理想的特征表達應(yīng)該是具有空間分布的特征模式。

盡管基于圖像片的方法這些模型可以在內(nèi)容圖像和風格圖像具有相似結(jié)構(gòu)特征時生成視覺效果較好的風格圖，但這些方法很多時候會在生成圖像中引入不該出現(xiàn)的風格模式。在上圖中最后兩行的圖像中可以明顯看到這些結(jié)果。例如風格圖像中的眼睛、嘴唇等模式都會被copy到背景中（倒數(shù)第二行），甚至在最后一行中我們可以看出內(nèi)容圖像已經(jīng)發(fā)生改變，女孩的臉型受到了風格圖像的影響。這些缺點大大限制了生成高質(zhì)量風格圖像的應(yīng)用，為了解決這些問題研究人員從風格分布的角度提出了一種多模態(tài)風格遷移的方法，實現(xiàn)了靈活、通用風格化過程，并充分利用并有效平衡了參數(shù)化和非參數(shù)化方法的優(yōu)勢。

具體來說，研究人員提出了多模態(tài)風格表示方法來表示風格圖的特征，并基于圖方法的匹配機制來實現(xiàn)風格特征和內(nèi)容圖像的匹配。研究人員在對多種風格圖像風格分布分析的基礎(chǔ)上認為多模態(tài)表示是更為有效的風格表達方式，并利用表示不同特定特征的風格集合來實現(xiàn)多模表示，可利用這些特征來實現(xiàn)會對不同特征的混合與匹配，得到豐富多彩的風格化圖像。

為了實現(xiàn)風格-內(nèi)容的匹配，研究人員提出了基于圖的能量最小化方法，并利用圖割的方式來求解。風格表達通過內(nèi)容的空間特征來匹配。最后研究人員還利用了不同的子風格數(shù)量探索了多模態(tài)表達的魯棒性和有效性，實驗表明MST可有效改進現(xiàn)有風格化方法表現(xiàn)。

接下來讓我們一起來探索高效的多模態(tài)風格表示，并研究如何為每一種內(nèi)容特征與風格特征進行匹配，最后將在對應(yīng)的特征子空間中實現(xiàn)風格轉(zhuǎn)換。

多模態(tài)表示

基于卷積的圖像風格遷移主要利用兩種方法來對特征進行表示，一種假設(shè)全局具有相同分布并用全局特征來表風格，另一種則基于圖像片提取風格。當風格圖像具有多種特征時、單一均勻的方法無法較好的處理。在下圖中可以看到對于風格特征的聚類，明顯具有多種不同的風格模式。

而基于圖像片的方法來說，會造成多個相同模式的圖像片被copy到最終結(jié)果中造成不連續(xù)不美觀的局部畸變。為了處理這些問題研究人員提出了利用多模態(tài)來表示風格圖的特征，通過將風格分為多個子集實現(xiàn)了高維空間中的模態(tài)聚類，在特征空間中通過K均值聚類來對特征點進行分割：

特征Fs被分解成多個子特征，每個特征都有自己的特征標簽lk。在特征空間中的鄰近點具有相同的視覺特征。通過這樣的方法就將先前均一模式的特征表達分解到了多個子空間中。

基于圖的風格匹配

針對內(nèi)容圖，同樣需要抽取特征。隨后對內(nèi)容特征和風格特征進行距離測量，基于余弦距離計算出每一個風格特征與內(nèi)容特征的距離，并最小化數(shù)據(jù)能量函數(shù)來匹配對應(yīng)的特征：

隨后還需要考慮內(nèi)容圖像的空間信息來保留內(nèi)容的連續(xù)性和邊緣的完整，并希望內(nèi)容圖像同一局域擁有相同的特征標簽，所以還引入了內(nèi)容平滑項：

最后將兩項能量函數(shù)聯(lián)合起來并最小化就能得到風格與對應(yīng)內(nèi)容匹配的結(jié)果。研究人員提出了基于圖的方法來最小化，并最終實現(xiàn)了像素級的風格匹配。

實驗發(fā)現(xiàn)，風格特征的聚類將抽取出圖像中的語義信息。在獲得像素級的匹配圖后，就可以更具內(nèi)容的特征自適應(yīng)的匹配不同風格來實現(xiàn)更為有效的圖像風格化操作。下圖分別顯示了具有兩個/三個子風格的風格匹配圖像。

通過一系列的實驗表明，這種方法在邊緣保留、特征自適應(yīng)匹配等方面具有十分優(yōu)異的表現(xiàn)。研究人員探索了不同風格聚類數(shù)量對于風格化的影響，可以看到越多的子風格數(shù)對圖像的表達越完整，遷移后的圖像具有更好的視覺連續(xù)性：

在匹配圖中我們可以看到不同特征的分布區(qū)域，下圖中可以看到聚類數(shù)為3時不同特征對應(yīng)內(nèi)容圖和特征圖的區(qū)域模式。

這種利用多模態(tài)的風格表示方法有效的將風格圖中的不同特征進行了更為豐富完整的表示，并利用特征匹配的方法為不同的內(nèi)容區(qū)域匹配不同的特征，自適應(yīng)的實現(xiàn)具有空間分布的風格遷移。MST的思想可以有效拓展到現(xiàn)有的風格遷移方法中，提高最終生成的風格圖像的視覺效果。最后讓我們再來欣賞一些機器生產(chǎn)的美麗畫作吧！

MST方法得到的結(jié)果與其他方法的比較