人類(lèi)和動(dòng)物在學(xué)習(xí)新行為時(shí)，大部分只需要觀察一次就能學(xué)會(huì)，然而想讓機(jī)器人學(xué)習(xí)就沒(méi)那么容易了。隨著計(jì)算機(jī)視覺(jué)的發(fā)展，目前的技術(shù)能讓機(jī)器人依靠人體姿勢(shì)檢測(cè)系統(tǒng)，模仿人類(lèi)的動(dòng)作進(jìn)行學(xué)習(xí)。不過(guò)每次都需要人類(lèi)“做示范”未免有些麻煩，本篇論文的研究人員們想出了新方法：讓機(jī)器人通過(guò)一段只有一個(gè)人的視頻來(lái)模仿學(xué)習(xí)。

此前的研究表明，機(jī)器人能通過(guò)觀察示范學(xué)習(xí)一系列復(fù)雜的技能，例如倒水、打乒乓球、打開(kāi)抽屜等。然而，機(jī)器人模仿最有效的方法與人類(lèi)學(xué)習(xí)有很大的不同：機(jī)器人通常需要接到具體的動(dòng)作示范或遙控操作，人類(lèi)只需看別人做一遍就能了解。另外，人類(lèi)還能根據(jù)環(huán)境變化改變策略，適應(yīng)新情況。所以，我們?cè)鯓幽茏寵C(jī)器人像人類(lèi)一樣，通過(guò)觀察第三方示范進(jìn)行學(xué)習(xí)？

從原始視頻中獲得技能存在兩大挑戰(zhàn)。首先，人類(lèi)演示者和機(jī)器人的外觀及形態(tài)的差異會(huì)帶來(lái)系統(tǒng)性的域轉(zhuǎn)移（domain shift），即對(duì)應(yīng)問(wèn)題（correspondence problem）。其次，從原始視覺(jué)輸入中學(xué)習(xí)通常需要大量數(shù)據(jù)，深度學(xué)習(xí)視覺(jué)系統(tǒng)一般要使用數(shù)十萬(wàn)至數(shù)百萬(wàn)的圖像。而在本文中，我們展示了通過(guò)基于元學(xué)習(xí)的單一方法解決這兩個(gè)挑戰(zhàn)。

前期準(zhǔn)備

該方法建立在之前的工作成果或者元學(xué)習(xí)的基礎(chǔ)上，我們將對(duì)模型元學(xué)習(xí)算法進(jìn)行擴(kuò)展，它能夠處理提供的數(shù)據(jù)（即人類(lèi)演示）和評(píng)估設(shè)置（即機(jī)器人動(dòng)作）之間的域轉(zhuǎn)移。

元學(xué)習(xí)算法能快速有效地學(xué)習(xí)新任務(wù)，一般來(lái)說(shuō)，元學(xué)習(xí)可以看作是發(fā)現(xiàn)任務(wù)之間存在的結(jié)構(gòu)的功能。當(dāng)模型從元測(cè)試集中提出新任務(wù)時(shí)，模型可以使用已知結(jié)構(gòu)快速學(xué)習(xí)。算法（MAML）通過(guò)對(duì)深度網(wǎng)絡(luò)的初始參數(shù)設(shè)置進(jìn)行優(yōu)化來(lái)實(shí)現(xiàn)這一點(diǎn)。在元訓(xùn)練之后，根據(jù)新任務(wù)的數(shù)據(jù)對(duì)學(xué)習(xí)參數(shù)進(jìn)行微調(diào)。

模仿人類(lèi)

在這一部分，我們將說(shuō)明機(jī)器人一次性模仿人類(lèi)學(xué)習(xí)的問(wèn)題，并介紹我們的試驗(yàn)方法。從含有人類(lèi)的視頻中進(jìn)行學(xué)習(xí)可以看做是一個(gè)推理問(wèn)題，其目標(biāo)是推斷機(jī)器人的策略參數(shù)，它能將先驗(yàn)知識(shí)與少量證據(jù)結(jié)合來(lái)完成任務(wù)。為了從只有一個(gè)人的視頻中有效學(xué)習(xí)，我們需要包含著對(duì)世界有著豐富視覺(jué)和物體理解的先驗(yàn)知識(shí)。

而試驗(yàn)方法包括兩個(gè)階段，在元訓(xùn)練階段，我們需要利用人類(lèi)和機(jī)器人的動(dòng)作數(shù)據(jù)獲取先驗(yàn)知識(shí)，然后通過(guò)快速學(xué)習(xí)模仿動(dòng)作。這一方法的關(guān)鍵部分在于，它可以遷移到其他元學(xué)習(xí)算法中去。如MAML算法一樣，我們將學(xué)習(xí)一系列初始參數(shù)，在經(jīng)歷過(guò)幾次梯度下降后，模型還能有效地完成新任務(wù)。最終用于元目標(biāo)的算法可以總結(jié)為：

在元訓(xùn)練階段之后，學(xué)習(xí)到的先驗(yàn)知識(shí)將用于第二階段。當(dāng)機(jī)器人模仿人類(lèi)的新動(dòng)作時(shí)，必須將先驗(yàn)知識(shí)與新的人類(lèi)示范動(dòng)作結(jié)合，來(lái)推斷解決新任務(wù)的策略參數(shù)。算法總結(jié)為：

時(shí)序適應(yīng)目標(biāo)學(xué)習(xí)

為了從人的視頻中學(xué)習(xí)，我們需要一個(gè)適應(yīng)目標(biāo)，可以有效地捕捉視頻中的相關(guān)信息，比如人的意圖和與任務(wù)有關(guān)的對(duì)象。由于時(shí)序卷積在處理時(shí)序和數(shù)據(jù)序列時(shí)是有用的，所以我們選擇用一個(gè)卷積網(wǎng)絡(luò)表示適應(yīng)目標(biāo)。效果如圖所示：

網(wǎng)絡(luò)架構(gòu)

如圖所示，網(wǎng)絡(luò)架構(gòu)是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，將RGB圖像映射到動(dòng)作分布。卷積網(wǎng)絡(luò)從幾個(gè)卷積層開(kāi)始，然后被輸送到通道空間的argmax中，為每個(gè)通道提取二維特征點(diǎn)f。接著我們將這些特征點(diǎn)與機(jī)器人結(jié)構(gòu)連接在一起，該結(jié)構(gòu)包括夾具上的3個(gè)非軸對(duì)齊的點(diǎn)。然后，我們將連接的特征點(diǎn)和機(jī)器人姿態(tài)傳遞給多個(gè)完全連接層。

實(shí)驗(yàn)過(guò)程

我們的實(shí)驗(yàn)主要想解決三個(gè)問(wèn)題：

我們的方法能否有效地學(xué)習(xí)先驗(yàn)知識(shí)，讓機(jī)器人能夠通過(guò)僅有一人的視頻學(xué)習(xí)操作新物體？

我們的方法能否從新的角度讓機(jī)器人模仿人類(lèi)動(dòng)作？

我們所提出的方法與元學(xué)習(xí)方法以及其他方法有何不同？

為了進(jìn)一步了解我們的方法以及其實(shí)用性，我們還要另外評(píng)估：

時(shí)序適應(yīng)目標(biāo)有多重要？

我們的方法能否用于多個(gè)機(jī)器人平臺(tái)，以及用于動(dòng)作或遙控示范的元訓(xùn)練？

為了進(jìn)行評(píng)估，我們?cè)?軸的PR2機(jī)械臂和Sawyer機(jī)器人上進(jìn)行實(shí)驗(yàn)。

PR2實(shí)驗(yàn)過(guò)程

首先是用機(jī)械臂PR2進(jìn)行物體的放置、前推、撿拾等動(dòng)作的測(cè)試，具體過(guò)程如圖：

從左至右分別是：物體放置、推動(dòng)以及撿拾-放下動(dòng)作。上面一排是人類(lèi)示范

整個(gè)過(guò)程的裝置情況是這樣的：

用于拍攝的是一臺(tái)智能手機(jī)，從中看到的情況是這樣的：

最后，PR2一次學(xué)習(xí)的評(píng)估情況展示在下表中，可以看到成功率大大高于之前的方法：

另外，研究人員還統(tǒng)計(jì)了PR2在做“推動(dòng)”時(shí)發(fā)生的錯(cuò)誤：

Sawyer實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)的另一個(gè)目標(biāo)是我們的方法能否應(yīng)用于別的平臺(tái)上，于是我們選擇了7個(gè)自由度的Sawyer進(jìn)行驗(yàn)證。不同與PR2實(shí)驗(yàn)，動(dòng)作空間將是末端執(zhí)行器的單個(gè)指令姿態(tài)，我們將使用均方誤差作為外部的元目標(biāo)。

最終，在使用時(shí)序適應(yīng)目標(biāo)的實(shí)驗(yàn)中，成功率比沒(méi)有使用的提高了14%，證明了從視頻中學(xué)習(xí)時(shí)融合時(shí)間信息的重要性。

實(shí)驗(yàn)的局限性

雖然我們的工作成果能讓機(jī)器人從視頻中一次性學(xué)習(xí)操作新的物體，但是目前的實(shí)驗(yàn)還沒(méi)有證明模型能夠一次性學(xué)習(xí)全新動(dòng)作。希望未來(lái)有更多的數(shù)據(jù)和更高性能的模型能實(shí)現(xiàn)這一目標(biāo)。