NVIDIA 宣布與 Intrinsic.ai 就工業(yè)機(jī)器人任務(wù)的基礎(chǔ)技能模型學(xué)習(xí)展開合作。

工業(yè)制造中的許多拾取和放置問題仍然由人類操作員解決，為這些任務(wù)而編程機(jī)器人仍具有挑戰(zhàn)性。例如，在機(jī)器維護(hù)環(huán)境中，作為復(fù)雜的多步驟零件制造過程的一部分，協(xié)作機(jī)器人可以用來從料倉(cāng)中挑選原材料零件，并將其送入數(shù)控機(jī)床或彎曲機(jī)。

這類機(jī)器人可以使用基礎(chǔ)模型進(jìn)行編程，從而實(shí)現(xiàn)基礎(chǔ)模型在物體零件、機(jī)器人形態(tài)和現(xiàn)實(shí)世界的工業(yè)環(huán)境等方面顯著的通用性。

本文介紹了使用 NVIDIA Isaac Manipulator 生成抓取姿勢(shì)和機(jī)器人運(yùn)動(dòng)的工作流，首先在NVIDIA Isaac Sim中進(jìn)行仿真，然后在現(xiàn)實(shí)世界中使用 Intrinsic Flowstate 執(zhí)行。

感知也是通過 Flowstate 完成的，在 Flowstate 中，我們使用對(duì)象姿態(tài)估計(jì)包來獲得雜亂場(chǎng)景中可抓取對(duì)象的位置和方向。

在本文中，我們?cè)谝粋€(gè)具有挑戰(zhàn)性的智能取放應(yīng)用程序上演示了該系統(tǒng)：一個(gè)機(jī)器人在雜亂的垃圾箱中抓取金屬零件，并以精確的放置姿勢(shì)將其區(qū)分。這些薄金屬片本身很難被感知，因?yàn)橐话愕纳疃认鄼C(jī)難以處理鏡面，同時(shí)操作也有難度，因?yàn)樾枰褂梦P夾具而不是手指。

用于抓取和運(yùn)動(dòng)生成的Isaac Manipulator

為了生成真空抓取的合成數(shù)據(jù)，我們使用了金屬片和吸盤的 CAD 模型。在仿真過程中，我們針對(duì)每個(gè)物體嘗試數(shù)千種抓取方式，并找到最優(yōu)的解決方案。

良好的吸盤需要密封并避免金屬板上出現(xiàn)的孔洞，我們還想避免金屬板在運(yùn)輸過程中的晃動(dòng)，這也是在仿真中需要確保的。

圖 1. Isaac Sim 中的抓握示例

在生成了一組密集的抓取姿勢(shì)后，我們使用物體姿勢(shì)信息將其轉(zhuǎn)換為機(jī)器人框架。然后，我們使用CUDA 加速運(yùn)動(dòng)生成庫(kù) NVIDIA cuMotion（由 cuRobo 提供支持）生成無碰撞軌跡，以移動(dòng)機(jī)器人并實(shí)現(xiàn)其中一個(gè)目標(biāo)抓取姿勢(shì)。

其中一些姿勢(shì)可能在運(yùn)動(dòng)學(xué)上無法實(shí)現(xiàn)，或者可能會(huì)發(fā)生碰撞，cuRobo 在規(guī)劃軌跡時(shí)會(huì)對(duì)這兩種情況進(jìn)行過濾。作為參考，cuRobo 可以在 NVIDIA RTX 40 系列顯卡上快速生成運(yùn)動(dòng)計(jì)劃，僅需 30 毫秒。

在 Isaac Sim 中進(jìn)行評(píng)估

我們首先在 Isaac Sim 中評(píng)估了工作流。仿真機(jī)器人來自配備有吸盤的定制 Kuka K10 機(jī)械臂的 CAD 文件。物體被隨機(jī)定位，以仿真現(xiàn)實(shí)世界中的垃圾箱揀選場(chǎng)景。

我們沒有使用物體檢測(cè)器，而是直接從仿真器中獲取物體姿態(tài)信息。我們利用了有關(guān)物體類型的地面實(shí)況信息，根據(jù)物體的初始姿態(tài)確定最佳可觸及抓手。

利用 Intrinsic Flowstate在現(xiàn)實(shí)世界執(zhí)行

我們的工作流直接從仿真轉(zhuǎn)移到現(xiàn)實(shí)世界中的工作單元。實(shí)際的硬件設(shè)置包括一個(gè)外部校準(zhǔn)的頂置多攝像頭系統(tǒng)和一個(gè)配備吸盤的 Kuka K10 機(jī)械臂。

使用 Intrinsic Flowstate 中的原生對(duì)象姿態(tài)估計(jì)包來檢測(cè)片狀金屬物體的位置。然后，使用 Isaac Manipulator 來計(jì)算對(duì)象的抓取位置，并計(jì)劃一個(gè)無碰撞的軌跡來執(zhí)行抓取任務(wù)。

最后，我們通過 Flowstate 中的位置控制器在機(jī)械臂上執(zhí)行該機(jī)器人軌跡。總的來說，在演示中實(shí)現(xiàn)了大約 8 秒/次拾取的循環(huán)時(shí)間。

展望未來

我們計(jì)劃將框架擴(kuò)展到更高級(jí)的智能拾放功能，例如機(jī)器維修。在這個(gè)例子中，機(jī)器人必須將抓取的物體精確地放置在某個(gè)位置或固定裝置上，以便機(jī)器進(jìn)行下游處理。