幾個月前，深度學(xué)習(xí)算法deepfakes風(fēng)靡社交網(wǎng)絡(luò)，引發(fā)無數(shù)網(wǎng)友將無辜女明星的臉用于合成AV。事件曝光后后，Reddit立即封禁了所有帖子，但它產(chǎn)生的惡劣影響卻令人擔(dān)憂——如今隨便一個普通人憑著一張GPU、一堆足夠多的訓(xùn)練數(shù)據(jù)就能實現(xiàn)人臉替換，而且它的效果好到能超出人眼識別的范圍，那么我們該如何防止它被濫用于損害他人名譽？又或者說，我們對以后在視頻中看到的內(nèi)容又該保有幾分信任？

為了解決這個問題，近日慕尼黑工業(yè)大學(xué)（TUM）等高校的研究人員制作了一個名為FaceForensics的大型人臉偽造視頻數(shù)據(jù)集，并成功用深度學(xué)習(xí)算法XceptionNet實現(xiàn)了“假臉”檢測。以下是對論文部分內(nèi)容的編譯：

哪張臉是真實的臉？

摘要

隨著計算機視覺和圖像處理技術(shù)取得最新進展，現(xiàn)在我們已經(jīng)能做到在視頻中實時合成極其逼真的人臉。這項技術(shù)的背后是無限的應(yīng)用空間，但其中的某些濫用行為卻為我們拉響了安全警報，因此開發(fā)一個可靠的虛假視頻檢測器迫在眉睫。

事實上，區(qū)分原始視頻和造假視頻對人和計算機來說都是一個挑戰(zhàn)，特別是在視頻被壓縮或分辨率較低的情況下，而這種視頻一般多見于社交媒體網(wǎng)站。由于缺乏足夠大的數(shù)據(jù)集，以往對人臉偽造視頻檢測的研究一直因受阻而停滯不前。為此，我們引入了一個全新的人臉偽造數(shù)據(jù)集，它包含約50萬張人臉圖像（來自1004個視頻），圖像所涉及的作偽技術(shù)都是當(dāng)前最先進的，且在質(zhì)量上超過現(xiàn)有同類視頻處理數(shù)據(jù)集至少一個數(shù)量級。

通過使用這個新數(shù)據(jù)集，我們提出了一種能在各種分類、剪輯、壓縮情況下對圖像進行經(jīng)典圖像取證的基準(zhǔn)，此外，我們還提引入了基準(zhǔn)評估，它能在現(xiàn)實基礎(chǔ)上創(chuàng)建已知的、難以區(qū)分的偽造模型，例如生成細化模型。

數(shù)據(jù)集FaceForensics

FaceForensics中包含的數(shù)據(jù)來自1004個視頻，它由兩個子集組成。其中第一個數(shù)據(jù)集（source-to-target）包含的是存在差異的源視頻和目標(biāo)視頻，而第二個數(shù)據(jù)集（self-reenactment）則是輸入視頻后由face2face還原的視頻，即源視頻與目標(biāo)視頻相同。這兩個數(shù)據(jù)集允許我們訪問合成圖像和真實圖像的真值對（ground truth pairs）。

源-目標(biāo)數(shù)據(jù)集：源演員的原始輸入圖像—目標(biāo)演員的原始輸入圖像—重演結(jié)果—合成期間使用的3D模型

數(shù)據(jù)搜集：所有數(shù)據(jù)都來自YouTube。我們選擇的是分辨率大于480p的視頻，它們在YouTube8m上已用“face”“newscaster”或“newsprogram”進行了標(biāo)記。通過使用Viola-Jones人臉檢測器，我們從圖片中提取了包含超過300個連續(xù)幀的人臉視頻序列，之后再剪輯成果并手動放映，從中篩選出優(yōu)質(zhì)的、無遮擋的視頻。

數(shù)據(jù)處理：為了處理視頻，我們使用的方法是最先進的face2face，它能完全自動重演操作，并能在不同表情條件下重新渲染視頻中的人臉。在預(yù)處理階段，我們用第一幀獲取人臉的3D模型，并在剩下的幀中跟蹤表情。為了改善個體擬合和靜態(tài)紋理估計，面部左右角度的檢測框是自動選擇的，而這在face2face里原本是手動完成的。簡而言之，通過追蹤表情，我們能實現(xiàn)個體擬合和靜態(tài)紋理估計；而通過個體重建，我們就能追蹤整個視頻來計算每一幀的表達式、rigid pose和照明參數(shù)。

這兩個數(shù)據(jù)集的目標(biāo)主要有以下兩點：

驗證用當(dāng)前最先進技術(shù)生成的偽造視頻在分類和分割時會有什么樣的表現(xiàn)。

能否使用生成網(wǎng)絡(luò)提高偽造質(zhì)量。

偽造分類任務(wù)

偽造分類任務(wù)的目的是識別偽造圖像，它可以被看作是一個二元分類問題，逐幀處理視頻。在數(shù)據(jù)集的支持下，我們理想中的檢測算法不僅能分類高清視頻，它應(yīng)該也能分類視頻被壓縮或分辨率較低的視頻。為了測試算法的性能，我們用H.264壓縮算法設(shè)置了3個視頻壓縮基線：無壓縮視頻、參數(shù)為23的低壓縮視頻和參數(shù)為40的高壓縮視頻。

各基線的清晰度對比

我們在數(shù)據(jù)集上測試了一系列CNN模型，其中包括一個基于XceptionNet CNN架構(gòu)的遷移模型。首先，我們在ImageNet上事先把XceptionNet CNN訓(xùn)練好，并對數(shù)據(jù)集進行微調(diào)。在微調(diào)期間，我們固定與整個神經(jīng)網(wǎng)絡(luò)前4個模塊相對應(yīng)的36個卷積層，然后把最后一層替換成兩個帶輸出的全連接層，隨機初始化后進行10個epoch的訓(xùn)練。

當(dāng)網(wǎng)絡(luò)連續(xù)5個epoch基本保持不變后，為了優(yōu)化輸出，我們又引入了一些超參數(shù)來進行評估：Adam、學(xué)習(xí)率=0.001、β1=0.9、β2=0.999、batch-size=64。下表是我們得出的各模型分類準(zhǔn)確率：

分類準(zhǔn)確率：無壓縮 (no-c)；低壓縮 (easy-c)；高壓縮(hard-c)

可以發(fā)現(xiàn)，在無壓縮情況下，所有模型都表現(xiàn)良好，而隨著視頻清晰度的下降，它們的準(zhǔn)確率也都出現(xiàn)了不同程度的下降，其中較淺的CNN表現(xiàn)尤為明顯，而XceptionNet CNN總體表現(xiàn)優(yōu)秀。事實上，這種下降是可以接受的，因為一旦視頻變得很模糊，人眼也無法作出準(zhǔn)確的區(qū)分。

偽造分割任務(wù)

處理圖像的像素級分割是一項非常具有挑戰(zhàn)性的任務(wù)，而對于圖像取證，最有效的一種方法是根據(jù)基于相機的偽像（如傳感器噪聲，去馬賽克）。但這種方法在我們的數(shù)據(jù)集上并沒有很好的表現(xiàn)，即便是未壓縮的視頻，它的表現(xiàn)也很一般。所以我們還是得用深度學(xué)習(xí)方法，用數(shù)據(jù)集進行充分訓(xùn)練。

因為XceptionNet之前在分類任務(wù)中表現(xiàn)良好，所以這里我們還是把它作為對比模型之一。在測試時，神經(jīng)網(wǎng)絡(luò)的滑動窗口以128×128像素大小移動，步長16。每個圖像塊Wi計算出操作概率的估計值p?i= CNN(Wi)，然后把它分配給中央的16×16區(qū)域。（詳細過程略）

同樣的，當(dāng)網(wǎng)絡(luò)連續(xù)5個epoch基本保持不變后，我們再次引入學(xué)習(xí)率=0.001、β1=0.9、β2=0.999進行優(yōu)化。因為要將和16個原圖像、偽造圖像相關(guān)的3個原圖像塊、偽圖像塊組合訓(xùn)練，這次的batch-size=96。

精度和召回率

偽造人臉分割結(jié)果

如上圖所示，這次我們沿用了之前的定量評估，發(fā)現(xiàn)隨著壓縮率的上升，各模型分割性能都出現(xiàn)了明顯下降。最終，在高壓縮視頻中，只有基于XceptionNet的模型給出了較好的輸出。

反向用于生成偽像

在我們的“偽造分類任務(wù)”中，實驗證明Face2Face可以從未壓縮的視頻中檢測到相當(dāng)多的數(shù)據(jù)信息，這就產(chǎn)生了一個問題，即這個數(shù)據(jù)集是否也能用于相反的目標(biāo)——進一步提升合成人訓(xùn)練的逼真程度。為了證實這一點，我們用包含521,406個目標(biāo)真值的第二個數(shù)據(jù)集做了一次監(jiān)督學(xué)習(xí)。

帶有skip connection的自動編碼器（AE）

作為基準(zhǔn)，我們設(shè)計了一個帶有skip connection的自動編碼器CNN架構(gòu)，它將128×128像素的圖像作為輸入，并預(yù)測具有相同分辨率的圖像（見上圖）。為了從人臉圖像中獲得有意義的特征，我們先使用VGGFace2數(shù)據(jù)集以無監(jiān)督學(xué)習(xí)的方式對自動編碼器網(wǎng)絡(luò)進行預(yù)訓(xùn)練。該數(shù)據(jù)集包含9131個類別的313萬幅圖像，比我們的數(shù)據(jù)集多，但沒有經(jīng)過標(biāo)記。我們禁用了skip connection，強迫神經(jīng)網(wǎng)絡(luò)完全依靠瓶頸層進行訓(xùn)練。

之后，我們又對FaceForensics中的368,135個訓(xùn)練圖像進行微調(diào)，并把經(jīng)過預(yù)訓(xùn)練的自動編碼器網(wǎng)絡(luò)放在上面訓(xùn)練。我們輸入一張假臉，把監(jiān)督學(xué)習(xí)的loss設(shè)置成1，啟用skip connection，以便網(wǎng)絡(luò)能輸出更清晰的結(jié)果。

上圖展示了我們的成果。通過拉近特寫鏡頭，可以發(fā)現(xiàn)比起Face2Face，我們改進自動編碼器后生成的圖片能顯示更多細節(jié)。Face2Face在鼻孔、鼻子、下巴和臉頰周圍會生成大量偽影，我們的方法不僅讓這些區(qū)域的線條更清晰，還修改了人臉3D模型與背景之間的過渡錯誤。同時，它還改進了Face2Face由于照明參數(shù)估計錯誤導(dǎo)致的偽影問題。