從視頻中估計(jì)3D結(jié)構(gòu)和相機(jī)運(yùn)動(dòng)是計(jì)算機(jī)視覺(jué)中的一個(gè)關(guān)鍵問(wèn)題，這個(gè)技術(shù)在自動(dòng)駕駛領(lǐng)域有著廣闊的工業(yè)應(yīng)用前景。今日，谷歌AI與機(jī)器人實(shí)驗(yàn)室聯(lián)合發(fā)布的最新成果：無(wú)需相機(jī)參數(shù)、單目、以無(wú)監(jiān)督學(xué)習(xí)的方式從未標(biāo)記場(chǎng)景視頻中搞定深度圖，效果堪比激光雷達(dá)。

目前自動(dòng)駕駛的核心技術(shù)是LiDAR（激光雷達(dá)），一種運(yùn)用雷達(dá)原理，采用光和激光作為主要傳感器的汽車視覺(jué)系統(tǒng)。LiDAR傳感器賦予了自動(dòng)駕駛汽車能夠看到周邊環(huán)境的“雙眼”，激光雷達(dá)技術(shù)越先進(jìn)，視覺(jué)感知的精準(zhǔn)程度越高，這是自動(dòng)駕駛得以實(shí)現(xiàn)的底層技術(shù)基礎(chǔ)。

但是最近幾年，放在攝像頭上的深度學(xué)習(xí)研究，發(fā)展很蓬勃。相比之下， 雖然激光雷達(dá) (LiDAR)的數(shù)據(jù)有諸多優(yōu)點(diǎn)，但相關(guān)學(xué)術(shù)進(jìn)展并不太多。相機(jī)+數(shù)據(jù)+神經(jīng)網(wǎng)絡(luò)的組合，正在迅速縮小與LiDAR的能力差距。

無(wú)需相機(jī)參數(shù)、單目、以無(wú)監(jiān)督學(xué)習(xí)的方式從未標(biāo)記場(chǎng)景視頻中搞定深度圖！

這是谷歌AI與機(jī)器人實(shí)驗(yàn)室聯(lián)合發(fā)布的最新研究結(jié)果，效果可媲美LiDAR。

什么是深度圖？

深度圖像（depth image)也被稱為距離影像（range image），由相機(jī)拍攝，是指將從圖像采集器到場(chǎng)景中各點(diǎn)的距離（深度）作為像素值的圖像，它直接反映了景物可見(jiàn)表面的幾何形狀。單位為mm，效果參考下圖：

在場(chǎng)景視頻景深學(xué)習(xí)領(lǐng)域，谷歌AI和機(jī)器人實(shí)驗(yàn)室聯(lián)合公布了三項(xiàng)最新研究突破：

第一，證明了可以以一種無(wú)監(jiān)督的方式訓(xùn)練深度網(wǎng)絡(luò)，這個(gè)深度網(wǎng)絡(luò)可以從視頻本身預(yù)測(cè)相機(jī)的內(nèi)在參數(shù)，包括鏡頭失真（見(jiàn)圖1）。

第二，在這種情況下，他們是第一個(gè)以幾何方式從預(yù)測(cè)深度直接解決遮擋的問(wèn)題。

第三，大大減少了處理場(chǎng)景中移動(dòng)元素所需的語(yǔ)義理解量：只需要一個(gè)覆蓋可能屬于移動(dòng)對(duì)象的像素的單個(gè)掩碼，而不是分割移動(dòng)對(duì)象的每個(gè)實(shí)例并跨幀跟蹤它。

圖1：從未知來(lái)源的視頻中學(xué)習(xí)深度的方法的定性結(jié)果，通過(guò)同時(shí)學(xué)習(xí)相機(jī)的外在和內(nèi)在參數(shù)來(lái)實(shí)現(xiàn)。由于該方法不需要知道相機(jī)參數(shù)，因此它可以應(yīng)用于任何視頻集。所有深度圖（在右側(cè)可視化，作為差異）都是從原始視頻中學(xué)習(xí)而不使用任何相機(jī)內(nèi)在函數(shù)。從上到下：來(lái)自YouTube8M的幀，來(lái)自EuRoC MAV數(shù)據(jù)集，來(lái)自Cityscapes和來(lái)自KITTI的幀。

推特網(wǎng)友對(duì)此不吝贊美：“這是我見(jiàn)過(guò)的最令人印象深刻的無(wú)監(jiān)督結(jié)果之一。來(lái)自未標(biāo)記視頻的深度圖對(duì)于自動(dòng)駕駛非常有用:)“

以下是論文具體內(nèi)容：

從視頻中估計(jì)3D結(jié)構(gòu)和相機(jī)運(yùn)動(dòng)是計(jì)算機(jī)視覺(jué)中的一個(gè)關(guān)鍵問(wèn)題，這個(gè)技術(shù)在自動(dòng)駕駛領(lǐng)域有著廣闊的工業(yè)應(yīng)用前景。

解決該問(wèn)題的傳統(tǒng)方法依賴于在多個(gè)連續(xù)幀中識(shí)別場(chǎng)景中的相同點(diǎn)，并求解在這些幀上最大程度一致的3D結(jié)構(gòu)和相機(jī)運(yùn)動(dòng)。

但是，幀之間的這種對(duì)應(yīng)關(guān)系只能針對(duì)所有像素的子集建立，這導(dǎo)致了深度估計(jì)不確定的問(wèn)題。與通常處理逆問(wèn)題一樣，這些缺口是由連續(xù)性和平面性等假設(shè)填充的。

深度學(xué)習(xí)能夠從數(shù)據(jù)中獲得這些假設(shè)，而不是手工指定這些假設(shè)。在信息不足以解決模糊性的地方，深度網(wǎng)絡(luò)可以通過(guò)對(duì)先前示例進(jìn)行歸納，以生成深度圖和流場(chǎng)。

無(wú)監(jiān)督方法允許單獨(dú)從原始視頻中學(xué)習(xí)，使用與傳統(tǒng)方法類似的一致性損失，但在訓(xùn)練期間對(duì)其進(jìn)行優(yōu)化。在推論中，經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)能夠預(yù)測(cè)來(lái)自單個(gè)圖像的深度以及來(lái)自成對(duì)或更長(zhǎng)圖像序列的運(yùn)動(dòng)。

隨著對(duì)這個(gè)方向的研究越來(lái)越有吸引力，很明顯，物體運(yùn)動(dòng)是一個(gè)主要障礙，因?yàn)樗`反了場(chǎng)景是靜態(tài)的假設(shè)。已經(jīng)提出了幾個(gè)方向來(lái)解決該問(wèn)題，包括通過(guò)實(shí)例分割利用對(duì)場(chǎng)景的語(yǔ)義理解。

遮擋是另一個(gè)限制因素，最后，在此方向的所有先前工作中，必須給出相機(jī)的內(nèi)在參數(shù)。這項(xiàng)工作解決了這些問(wèn)題，因此減少了監(jiān)督，提高了未標(biāo)記視頻的深度和運(yùn)動(dòng)預(yù)測(cè)質(zhì)量。

首先，我們證明了可以以一種無(wú)監(jiān)督的方式訓(xùn)練深度網(wǎng)絡(luò)，這個(gè)深度網(wǎng)絡(luò)從視頻本身預(yù)測(cè)相機(jī)的內(nèi)在參數(shù)，包括鏡頭失真（見(jiàn)圖1）。

其次，在這種情況下，我們是第一個(gè)以幾何方式從預(yù)測(cè)深度直接解決遮擋的問(wèn)題。

最后，我們大大減少了處理場(chǎng)景中移動(dòng)元素所需的語(yǔ)義理解量：我們需要一個(gè)覆蓋可能屬于移動(dòng)對(duì)象的像素的單個(gè)掩碼，而不是分割移動(dòng)對(duì)象的每個(gè)實(shí)例并跨幀跟蹤它。

這個(gè)掩?？赡芊浅４植?，實(shí)際上可以是矩形邊界框的組合。獲得這樣的粗糙掩模是一個(gè)簡(jiǎn)單得多的問(wèn)題，而且與實(shí)例分割相比，使用現(xiàn)有的模型可以更可靠地解決這個(gè)問(wèn)題。

除了這些定性進(jìn)展之外，我們還對(duì)我們的方法進(jìn)行了廣泛的定量評(píng)估，并發(fā)現(xiàn)它在多個(gè)廣泛使用的基準(zhǔn)數(shù)據(jù)集上建立了新的技術(shù)水平。將數(shù)據(jù)集匯集在一起，這種能力通過(guò)我們的方法得到了極大的提升，證明可以提高質(zhì)量。

表1：總結(jié)了在KITTI上訓(xùn)練的模型和評(píng)估結(jié)果，使用給定相機(jī)內(nèi)建和學(xué)習(xí)相機(jī)內(nèi)建兩種方式來(lái)評(píng)估我們方法的深度估計(jì)，結(jié)果顯而易見(jiàn)，我們獲得了當(dāng)前最佳SOTA。

表2：總結(jié)了在Cityscapes上訓(xùn)練和測(cè)試的模型的評(píng)估結(jié)果，我們的方法優(yōu)于以前的方法，并從學(xué)習(xí)的內(nèi)建中獲益。

表3：深度估計(jì)的消融實(shí)驗(yàn)。在所有實(shí)驗(yàn)中，訓(xùn)練集是Cityscapes（CS）和KITTI組合，我們分別在Cityscapes（CS）和KITTI（Eigen partition）上測(cè)試模型。每行代表一個(gè)實(shí)驗(yàn)，其中與主方法相比進(jìn)行了一次更改，如“實(shí)驗(yàn)”行中所述。數(shù)字越小越好。

除了這些定性的進(jìn)步，我們對(duì)我們的方法進(jìn)行了廣泛的定量評(píng)估，發(fā)現(xiàn)它在多個(gè)廣泛使用的基準(zhǔn)數(shù)據(jù)集上建立了一個(gè)新的技術(shù)狀態(tài)。將數(shù)據(jù)集集中在一起，這種方法大大提高了數(shù)據(jù)集的質(zhì)量。

最后，我們首次演示了可以在YouTube視頻上學(xué)習(xí)深度和相機(jī)內(nèi)在預(yù)測(cè)，這些視頻是使用多個(gè)不同的相機(jī)拍攝的，每個(gè)相機(jī)的內(nèi)建都是未知的，而且通常是不同的。

來(lái)自YouTube8M收集的圖像和學(xué)習(xí)的視差圖。

論文摘要

《場(chǎng)景視頻景深學(xué)習(xí)——非特定相機(jī)單眼圖片景深無(wú)監(jiān)督學(xué)習(xí)》

我們提出了一種新穎的方法，僅使用相鄰視頻幀的一致性作為監(jiān)督信號(hào)，用于同時(shí)學(xué)習(xí)單眼視頻的深度，運(yùn)動(dòng)，物體運(yùn)動(dòng)和相機(jī)內(nèi)建。與先前的工作類似，我們的方法通過(guò)將可微變形應(yīng)用于幀，并將結(jié)果與相鄰結(jié)果進(jìn)行比較來(lái)學(xué)習(xí)，但它提供了若干改進(jìn)：我們直接使用在訓(xùn)練期間預(yù)測(cè)的深度圖，以幾何和可微的方式處理遮擋。我們介紹了隨機(jī)層標(biāo)準(zhǔn)化，一種新穎的強(qiáng)大正則化器，并考慮了目標(biāo)相對(duì)于場(chǎng)景的運(yùn)動(dòng)。據(jù)我們所知，我們的工作是第一個(gè)以無(wú)監(jiān)督的方式從視頻中學(xué)習(xí)相機(jī)固有參數(shù)（包括鏡頭失真）的工作，從而使我們能夠從規(guī)模未知原點(diǎn)的任意視頻中提取準(zhǔn)確的深度圖和運(yùn)動(dòng)信息。

我們?cè)贑ityscapes，KITTI和EuRoC數(shù)據(jù)集上評(píng)估我們的結(jié)果，建立深度預(yù)測(cè)和測(cè)距的新技術(shù)水平，并定性地證明，深度預(yù)測(cè)可以從YouTube上的一系列視頻中學(xué)到。