基于圖像信息對(duì)目標(biāo)進(jìn)行三維空間定位具有十分重要的作用。例如，在機(jī)器人操作中，抓握和運(yùn)動(dòng)規(guī)劃等任務(wù)就需要對(duì)物體的6D姿態(tài)（3D位置和3D方向）信息進(jìn)行準(zhǔn)確的估計(jì)；在虛擬現(xiàn)實(shí)應(yīng)用中，人與物體之間的友好流暢的虛擬交互需要對(duì)目標(biāo)進(jìn)行準(zhǔn)確的6D姿態(tài)估計(jì)。

雖然最新的技術(shù)已經(jīng)在使用深度相機(jī)進(jìn)行物體姿態(tài)估計(jì)，但這種相機(jī)在幀速率、視場、分辨率和深度范圍等方面還存在相當(dāng)大的局限性，一些小的、薄的、透明的或快速移動(dòng)的物體檢測(cè)起來還非常困難。目前，基于RGB的6D目標(biāo)姿態(tài)估計(jì)問題仍然具有挑戰(zhàn)，因?yàn)閳D像中目標(biāo)的表觀會(huì)受到一系列因素的影響，如光照、姿態(tài)變化、遮擋等。此外，魯棒的6D姿態(tài)估計(jì)方法還需要能處理有紋理和無紋理的目標(biāo)。

傳統(tǒng)方法往往通過將2D圖像中提取的局部特征與待檢測(cè)目標(biāo)3D模型中的特征相匹配來求解6D姿態(tài)估計(jì)問題，也就是基于2D-3D對(duì)應(yīng)關(guān)系求解PnP問題。但是，這種方法對(duì)局部特征依賴性太強(qiáng)，不能很好地處理無紋理目標(biāo)。為了處理無紋理目標(biāo)，目前的文獻(xiàn)中有兩類方法：一類是，學(xué)習(xí)估計(jì)輸入圖像中的目標(biāo)關(guān)鍵點(diǎn)或像素的3D模型坐標(biāo)；還有一類是，通過離散化姿態(tài)空間將6D姿態(tài)估計(jì)問題轉(zhuǎn)化為姿態(tài)分類問題，或轉(zhuǎn)化為姿態(tài)回歸問題。

這些方法雖然能夠處理無紋理目標(biāo)，但是精度不夠高。為了提高精度，往往還需要進(jìn)一步的姿態(tài)優(yōu)化：給定初始姿態(tài)估計(jì)，對(duì)合成RGB圖像進(jìn)行渲染來和目標(biāo)輸入圖像進(jìn)行匹配，然后再計(jì)算出新的更準(zhǔn)的姿態(tài)估計(jì)?，F(xiàn)有的姿態(tài)優(yōu)化方法通常使用手工制作的圖像特征或匹配得分函數(shù)。

在本文工作中，作者提出了DeepIM——一種基于深度神經(jīng)網(wǎng)絡(luò)的迭代6D姿態(tài)匹配的新方法。給定測(cè)試圖像中目標(biāo)的初始6D姿態(tài)估計(jì)，DeepIM能夠給出相對(duì)SE(3)變換符合目標(biāo)渲染視圖與觀測(cè)圖像之間的匹配關(guān)系。提高精度后的姿態(tài)估計(jì)迭代地對(duì)目標(biāo)重新渲染，使得網(wǎng)絡(luò)的兩個(gè)輸入圖像會(huì)變得越來越相似，從而網(wǎng)絡(luò)能夠輸出越來越精確的姿勢(shì)估計(jì)。上圖展示了作者提出網(wǎng)絡(luò)用于姿態(tài)優(yōu)化的迭代匹配過程。

這項(xiàng)工作主要有以下貢獻(xiàn)：

首先，將深度網(wǎng)絡(luò)引入到基于圖像的迭代姿態(tài)優(yōu)化問題，而無需任何手工制作的圖像特征，其能夠自動(dòng)學(xué)習(xí)內(nèi)部優(yōu)化機(jī)制；

其次，提出了一種旋轉(zhuǎn)和平移解耦的SE(3)變換表示方法，能夠?qū)崿F(xiàn)精確的姿態(tài)估計(jì)，并且能使提出的方法適用于目標(biāo)不在訓(xùn)練集時(shí)的姿態(tài)估計(jì)問題。

最后，作者在LINEMOD和Occlusion數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，以評(píng)估DeepIM的準(zhǔn)確性和各種性能。

兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，作者提出的方法都比當(dāng)前最先進(jìn)的基于RGB的方法性能提高了很多。此外，初步的實(shí)驗(yàn)表明，DeepIM還能夠在對(duì)一些訓(xùn)練集中未出現(xiàn)的物體的姿態(tài)進(jìn)行準(zhǔn)確估計(jì)。

下面讓我們看看一些算法流程的細(xì)節(jié)。如上圖所示，作者為了獲得足夠的信息進(jìn)行姿態(tài)匹配，對(duì)觀測(cè)圖像進(jìn)行放大，并在輸入網(wǎng)絡(luò)前進(jìn)行渲染。要注意的是，在每次迭代過程中，都會(huì)根據(jù)上一次得到的姿態(tài)估計(jì)來重新渲染，這樣才能夠通過迭代來增加姿態(tài)估計(jì)的準(zhǔn)確度。DeepIM的網(wǎng)絡(luò)結(jié)構(gòu)圖如下圖所示，輸入觀測(cè)圖像、渲染圖像以及對(duì)應(yīng)的掩膜。使用FlowNetSimple網(wǎng)絡(luò)第11個(gè)卷積層輸出的特征圖作為輸入，然后連接兩個(gè)全連接層FC256，最后旋轉(zhuǎn)和平移的估計(jì)分別用兩個(gè)全連接層FC3和FC4作為輸入。

通常目標(biāo)從初始位置到新位置的旋轉(zhuǎn)與平移變換關(guān)系如上顯示。

一般來說旋轉(zhuǎn)變換會(huì)影響最后的平移變換，即兩者是耦合在一起的。如果將旋轉(zhuǎn)中心從相機(jī)坐標(biāo)系的原點(diǎn)轉(zhuǎn)移到目標(biāo)中心，就能解耦旋轉(zhuǎn)和平移。但這樣就需要能夠識(shí)別每個(gè)目標(biāo)并單獨(dú)存儲(chǔ)對(duì)應(yīng)的坐標(biāo)系，這會(huì)使得訓(xùn)練變得復(fù)雜且不能對(duì)未知目標(biāo)進(jìn)行姿態(tài)匹配。

在本文的工作中，作者讓坐標(biāo)軸平行于當(dāng)前相機(jī)坐標(biāo)軸，這樣可以算得相對(duì)旋轉(zhuǎn)，后續(xù)實(shí)驗(yàn)證明這樣效果更好。剩下的還要解決相對(duì)平移估計(jì)問題，一般的方法是直接在三維空間中計(jì)算原位置與新位置的xyz距離，但是這種方式既不利于網(wǎng)絡(luò)訓(xùn)練，也不利于處理大小不一、表觀相似的目標(biāo)或未經(jīng)訓(xùn)練的新目標(biāo)。

本文作者采用在二維圖像空間中進(jìn)行回歸估計(jì)平移變換，vx和vy分別是圖像水平方向和垂直方向上像素移動(dòng)的距離，vz表示目標(biāo)尺度變化。其中，fx和fy是相機(jī)焦距，由于是常數(shù)，在實(shí)際訓(xùn)練中作者將其設(shè)為1。

這樣一來，旋轉(zhuǎn)和平移解耦了，這種表示方法不需要目標(biāo)的任何先驗(yàn)知識(shí)，并且能處理一些特殊情況，比如兩個(gè)外觀相似的物體，唯一的區(qū)別就是大小不一樣。

關(guān)于模型訓(xùn)練的損失函數(shù)，通常直接的方法是將旋轉(zhuǎn)和平移分開計(jì)算，比如用角度距離表示旋轉(zhuǎn)誤差，L1距離表示平移誤差，但這種分離的方法很容易讓旋轉(zhuǎn)和平移兩種損失在訓(xùn)練時(shí)失衡。本文作者提出了一種同時(shí)計(jì)算旋轉(zhuǎn)和平移的Point Matching Loss函數(shù)，來表達(dá)姿態(tài)真值和估計(jì)值之間的損失。其中，xj表示目標(biāo)模型上的三維點(diǎn)，n是總共用來計(jì)算損失函數(shù)的點(diǎn)個(gè)數(shù)，本文中n=3000。

最后總的損失函數(shù)由L=αLpose +βLflow+γLmask組成，其中(α，β，γ)分別為(0.1,0.25,0.03)

實(shí)驗(yàn)部分，作者主要使用了LINEMOD和OCCLUSION數(shù)據(jù)集。如下表顯示，在LINEMOD數(shù)據(jù)集上作者分別用PoseCNN和Faster R-CNN初始化DeepIM網(wǎng)絡(luò)，發(fā)現(xiàn)即便兩個(gè)網(wǎng)絡(luò)性能差異很大，但是經(jīng)過DeepIM之后仍能得到差不多的結(jié)果。

LINEMOD數(shù)據(jù)集上的方法對(duì)比結(jié)果如下表顯示，作者提出的方法是最好的。

在目標(biāo)有遮擋的數(shù)據(jù)集上的實(shí)驗(yàn)，本文提出的方法效果也相當(dāng)不錯(cuò)哦。

除此之外，本文方法在ModelNet數(shù)據(jù)集上的表現(xiàn)也相當(dāng)驚艷，要注意的是，這些物體都不曾出現(xiàn)在訓(xùn)練集中哦。

利用這種方法實(shí)現(xiàn)6D位姿估計(jì)是十分有效的，希望能為小伙伴們的研究應(yīng)用帶來啟發(fā)和幫助~