MoveIt 是一個機(jī)器人控制平臺，包括了運(yùn)動規(guī)劃、操縱、3D 感知、運(yùn)動學(xué)、控制和導(dǎo)航方面的最新技術(shù)。PickNik Robotics 是進(jìn)行 MoveIt 開發(fā)的公司，該公司正在探索在內(nèi)部研發(fā)項目中使用 NVIDIA Isaac Sim。項目的目標(biāo)是提高對操縱的感知，并通過 PickNik 的商業(yè)機(jī)器人開發(fā)平臺 MoveIt Studio 讓機(jī)器人具有更自主的行為。

本文展示了將 MoveIt 2 與 NVIDIA Isaac Sim 中模擬的機(jī)器人進(jìn)行集成的過程。本教程需要一臺安裝了 Isaac Sim 2022.2.0 的電腦，以及如下所列的系統(tǒng)配置。請參閱 NVIDIA Isaac Sim documentation （https://docs.omniverse.nvidia.com/app_isaacsim/app_isaacsim/overview.html）了解具體的安裝細(xì)節(jié)和要求。

1、NVIDIA Isaac Sim 2022.2.0 安裝于 Ubuntu 20.04 主機(jī)上。默認(rèn)位置為$HOME/.local/share/ov/pkg/isaac_sim-2022.2.0目錄。

2、安裝 Docker。

3、克隆 MoveIt2 教程，以構(gòu)建一個基于 Ubuntu 22.04 Humble 的 Docker 鏡像，該鏡像可以與 Isaac Sim 通信并運(yùn)行本教程。

ros2 _ control 介紹

要執(zhí)行 MoveIt 計算的軌跡，建議使用 ros2_control 框架進(jìn)行管理并與您的機(jī)器人通信（無論真實(shí)的還是模擬的）。這種方法為開發(fā)人員提供了一個通用的 API，使軟件能夠通過簡單地更改一些啟動參數(shù)，在許多不同的機(jī)器人類型和內(nèi)置傳感器之間切換。

例如，Panda 機(jī)器人ros2_control.xacro使用標(biāo)志use_fake_hardware在被模擬或連接到物理機(jī)器人之間切換，如下所示：

 if value="${use_fake_hardware}">
  mock_components/GenericSystem
 if>
 "${use_fake_hardware}">
  franka_hardware/FrankaHardwareInterface
  "robot_ip">${robot_ip}
 

硬件元件可以是不同類型的。插件mock_components/GenericSystem是一個簡單的系統(tǒng)，用于轉(zhuǎn)發(fā)輸入的 command_interface 要跟蹤的節(jié)點(diǎn)值 state_interface。該系統(tǒng)模擬了對節(jié)點(diǎn)的完美控制。

為了將機(jī)器人的配置擴(kuò)展到 Isaac Sim ，首先需要引入 topic_based_ros2_control。此硬件接口是一個訂閱和發(fā)布已配置主題的系統(tǒng)。對于本教程，topic /isaac_joint_states 將包含機(jī)器人的當(dāng)前狀態(tài)，并且 將使用 /isaac_joint_commands 進(jìn)行驅(qū)動 。

本教程中使用的 moveit_resources_panda_moveit_config 不支持連接到硬件。因此當(dāng)標(biāo)志 ros2_control_hardware_type 設(shè)置為 isaac 時，表示ros2_control.xacro已更新并裝載 TopicBasedSystem 插件。

if value="${ros2_control_hardware_type == 'mock_components'}">
  mock_components/GenericSystem
if>
if value="${ros2_control_hardware_type == 'isaac'}">
  topic_based_ros2_control/TopicBasedSystem
  "joint_commands_topic">/isaac_joint_commands
  "joint_states_topic">/isaac_joint_states
if>

包含的 Python 腳本加載 Panda 機(jī)器人，同時構(gòu)建 OmniGraph 發(fā)布和訂閱用于控制機(jī)器人的 ROS topic。要了解有關(guān)配置 Isaac Sim 機(jī)器人與 ROS 2 通信的信息，請參閱ROS 2 Joint Control: Extension Python Scripting

(https://docs.omniverse.nvidia.com/app_isaacsim/app_isaacsim/tutorial_ros2_manipulation.html)。

計算機(jī)設(shè)置

按照以下步驟設(shè)置計算機(jī)。

1、使用 Workstation Installation documentation 安裝 Isaac Sim.

2、使用以下腳本執(zhí)行 MoveIt2 教程存儲庫的淺克?。?/p>

git clone https://github.com/ros-planning/moveit2_tutorials.git -b humble --depth 1

3、打開克隆教程的文件夾，然后切換到以下目錄：

cd moveit2_tutorials/doc/how_to_guides/isaac_panda

4、構(gòu)建 Docker 鏡像：

docker compose build

使用模擬組件運(yùn)行

MoveIt Interactive Marker Demo

運(yùn)行以下腳本以測試 mock_components/GenericSystem 硬件接口：

docker compose up demo_mock_components

RViz 將運(yùn)行 Panda 機(jī)器人，并使用 mock_components 以模擬機(jī)器人并執(zhí)行軌跡。如果這是您第一次同時使用 MoveIt 與 RViz ，請參閱Quickstart in RViz 教程（https://moveit.picknik.ai/humble/doc/tutorials/quickstart_in_rviz/quickstart_in_rviz_tutorial.html）。

完成測試后，在終端中選擇 Ctrl+C 停止容器。

使用 Isaac Sim 運(yùn)行

MoveIt Interactive Marker Demo

1、在主機(jī)上，導(dǎo)航到教程啟動目錄：

cd moveit2_tutorials/doc/how_to_guides/isaac_panda/launch

2、加載預(yù)配置的 Panda 機(jī)器人以使用本教程。請注意，此步驟假定 Isaac Sim 安裝在 $HOME/.local/share/ov/pkg/isaac_sim-2022.2.0" 目錄。

此步驟需要幾分鐘的時間來下載資源并設(shè)置 Isaac Sim。耐心等待，不要點(diǎn)擊 Force Quit 模擬器啟動時彈出的對話框。要加載 Panda 機(jī)器人，請運(yùn)行以下命令：

./python.sh isaac_moveit.py

3、從moveit2_tutorials/doc/how_to_guides/isaac_panda 目錄，啟動一個連接到 Isaac Sim 的容器，使用 topic_based_ros2_control/TopicBasedSystem 硬件接口：

docker compose up demo_isaac

RViz 將運(yùn)行 Panda 機(jī)器人，然后使用 TopicBasedSystem 用于與模擬機(jī)器人通信并執(zhí)行軌跡的接口。

視頻 1：了解如何集成 MoveIt 和 NVIDIA Isaac Sim

結(jié)論

將 MoveIt 與 NVIDIA Isaac Sim 集成，開發(fā)人員能夠創(chuàng)建反映真實(shí)世界的復(fù)雜逼真的機(jī)器人系統(tǒng)模擬。通過將這兩個框架與 ros2 _ control 配對，您可以在不同的模擬器和真實(shí)硬件之間快速切換，以快速迭代新算法和機(jī)器人行為。

即刻點(diǎn)擊“閱讀原文”，在 NVIDIA On-Demand 上觀看 GTC 精選回放，包括主題演講相關(guān)精選、中國本地精選內(nèi)容、生成式 AI 專題以及全球各行業(yè)及領(lǐng)域最新成果！