“變臉”技術(shù)已經(jīng)不新奇，來(lái)自德國(guó)慕尼黑工業(yè)大學(xué)、斯坦福大學(xué)等的一組研究人員最近開發(fā)了一個(gè)叫“HeadOn”的AI，它可以“變?nèi)恕薄鶕?jù)輸入人物的動(dòng)作，實(shí)時(shí)地改變視頻中人物的面部表情、眼球運(yùn)動(dòng)和身體動(dòng)作，使得圖像中的人看起來(lái)像是真的在說(shuō)話和移動(dòng)一樣。

來(lái)自德國(guó)慕尼黑工業(yè)大學(xué)、斯坦福大學(xué)等的一組研究人員最近開發(fā)了一個(gè)AI，它可以將你的實(shí)時(shí)的面部表情、眼球運(yùn)動(dòng)和姿勢(shì)轉(zhuǎn)換成肖像，使得圖像中的人看起來(lái)像是真的在說(shuō)話和移動(dòng)。這種技術(shù)創(chuàng)造的肖像非常逼真，甚至逼真得令人不安。

這個(gè)AI被稱為HeadOn，創(chuàng)造它的人正是去年研發(fā)了令人瞠目結(jié)舌、引發(fā)很大爭(zhēng)議的“變臉AI”Face2Face的團(tuán)隊(duì)。事實(shí)上，HeadOn可以說(shuō)是Face2Face系統(tǒng)的升級(jí)版。

研究人員在論文里將這個(gè)系統(tǒng)稱為“首個(gè)人體肖像視頻的實(shí)時(shí)的源到目標(biāo)（source-to-target）重演方法，實(shí)現(xiàn)了軀干運(yùn)動(dòng)、頭部運(yùn)動(dòng)、面部表情和視線注視的遷移”。

根據(jù)研究人員的說(shuō)法，沒(méi)有其他系統(tǒng)能做到這樣。它結(jié)合了多種技術(shù)——其中大部分是由這個(gè)研究團(tuán)隊(duì)首創(chuàng)或完善的。

為了解決視線注視的問(wèn)題，該團(tuán)隊(duì)之前開發(fā)了FaceVR：

研究團(tuán)隊(duì)去年在Face2Face上所做的工作為HeadOn的大部分能力提供了框架，但Face2Face只能實(shí)現(xiàn)面部表情的轉(zhuǎn)換，HeadOn增加了身體運(yùn)動(dòng)和頭部運(yùn)動(dòng)的遷移。

在論文中，作者進(jìn)一步介紹了HeadOn，這是一個(gè)用普通RGB-D相機(jī)錄制的人像視頻的重演（reenactment）系統(tǒng)。該系統(tǒng)通過(guò)不僅控制面部表情的變化，而且重演了頭部、上身的擺動(dòng)和眼睛注視的方向，克服了當(dāng)前的面部重演方法的局限性。也就是說(shuō)，重演了視頻中的整個(gè)人體。

HeadOn技術(shù)的圖示

這個(gè)方法的核心是將對(duì)變形代理的精確跟蹤與基于視圖的紋理相結(jié)合，進(jìn)行基于視頻的重新渲染。

為了實(shí)現(xiàn)這一目標(biāo)，研究人員提出了一種新方法，可以快速、自動(dòng)地從一個(gè)簡(jiǎn)短的RGB-D初始化序列中構(gòu)建人的頭部和軀干的幾何代理（proxy）。這個(gè)虛擬形象具有完整頭部的參數(shù)化3D模型，使用混合形狀進(jìn)行表情控制，并與個(gè)性化的上身模型集成。

自動(dòng)合成一個(gè)上半身模型

一種新的實(shí)時(shí)重現(xiàn)算法利用這個(gè)代理來(lái)真實(shí)地映射面部表情和眼睛注視，以及捕獲的源參與者對(duì)目標(biāo)參與者的頭部動(dòng)作和身體動(dòng)作。

為此，研究人員提出一種新的基于視頻的渲染方法，合成重新映射的目標(biāo)人像視頻。

部分結(jié)果

總結(jié)而言，這個(gè)研究的貢獻(xiàn)如下：

快速自動(dòng)構(gòu)建個(gè)性化的幾何代理，嵌入?yún)?shù)化的人臉、眼睛、整個(gè)頭部和上半身模型；

提出一種逼真的、基于視圖的、與姿勢(shì)相關(guān)的紋理和合成方法；

對(duì)source actor的穩(wěn)健的跟蹤方法；

以及實(shí)時(shí)source-to-target 重演的完整人像視頻。

爭(zhēng)議、改進(jìn)和局限性

視頻演示甚至有些令人毛骨悚然，你幾乎立即可以想到壞人會(huì)利用這種技術(shù)做出什么可怕的事情。試想一下，視頻通話中的人有可能是假冒的，這太可怕了！

但是，任何技術(shù)都有可能用于邪惡目的，只要開發(fā)者能以某種方式使輸出可以檢測(cè)，那么至少可以防止AI被濫用。值得一提的是，這個(gè)AI的積極應(yīng)用有很多。正如研究人員所說(shuō)：

盡管當(dāng)前的面部重現(xiàn)技術(shù)效果令人印象深刻，但它們?cè)诓倏仡愋蜕先匀淮嬖谥拘缘南拗?。例如，這些方法只能修改面部表情，但頭部的姿態(tài)很僵硬，例如頭的方向一直是保持不變的，不會(huì)隨著輸入視頻而變。因此，這樣的技術(shù)能實(shí)現(xiàn)的只是細(xì)微的變化，例如張開嘴，或皺皺眉。

如果你曾使用Animoji或Bitmoji來(lái)聊天，你可能已經(jīng)注意到這些表情看起來(lái)是多么不自然——至少對(duì)我們這些看動(dòng)畫片長(zhǎng)大的人來(lái)說(shuō)很不自然——說(shuō)話時(shí)不會(huì)動(dòng)腦袋和脖子，面部表情也只有那幾種。例如，當(dāng)一個(gè)人皺眉時(shí)，通常會(huì)伴隨著低頭和耷拉肩。這些微妙的動(dòng)作是我們身體語(yǔ)言的一部分，沒(méi)有身體動(dòng)作，只有一個(gè)會(huì)說(shuō)話的腦袋就顯得很奇怪。HeadOn修復(fù)了這個(gè)不和諧的問(wèn)題，并通過(guò)將幾個(gè)先進(jìn)的神經(jīng)網(wǎng)絡(luò)結(jié)合在一起，產(chǎn)生了更為自然的結(jié)果。

局限：對(duì)長(zhǎng)頭發(fā)的人處理不怎么好

這個(gè)系統(tǒng)當(dāng)然還不是完美的；在高清分辨率下進(jìn)行測(cè)試，除了最遲鈍的觀眾之外，所有人都覺(jué)察到圖像被操縱了。而且，根據(jù)研究人員的說(shuō)法，這個(gè)AI不怎么會(huì)處理長(zhǎng)頭發(fā)的人，產(chǎn)生的輸出較為粗糙。但這些小問(wèn)題未來(lái)可以解決。

這個(gè)“變臉”項(xiàng)目已經(jīng)持續(xù)多年，未來(lái)，HeadOn這樣的AI欺騙人類的概率很可能會(huì)達(dá)到99%。