使用 NVIDIA Isaac 构建医疗机器人：从仿真到部署
摘要
一篇实用指南，手把手教你如何采集数据、训练策略，并将自动化医疗机器人工作流程部署到真实硬件上。
简介
仿真一直是医学影像中弥补数据缺口的重要手段，但在医疗机器人领域，它过去往往速度太慢、系统割裂，或难以迁移到现实应用中。
NVIDIA Isaac for Healthcare 是一个专为 AI 医疗机器人开发者打造的框架，提供从数据采集到训练、评估再到部署的全流程工具链，适用于仿真环境与真实硬件。特别是在 v0.4 版本中，Isaac 提供了一个SO-ARM 入门工作流以及自定义手术室教程，帮助开发者低门槛快速构建并验证自动化手术机器人。
- SO-ARM 入门工作流https://github.com/isaac-for-healthcare/i4h-workflows/blob/main/workflows/so_arm_starter/README.md
- 自定义手术室教程https://github.com/isaac-for-healthcare/i4h-workflows/blob/main/tutorials/assets/bring_your_own_or/README.md
本文将带你深入了解这一工作流及其技术细节，帮助你前所未有地快速搭建手术助手机器人。
SO-ARM 入门工作流：构建一台手术辅助机器人
SO-ARM 入门工作流提供了一种全新的方式来探索手术辅助任务，提供了一整套从采集数据到部署到真实设备的端到端流程：
- 使用 LeRobot 平台与 SO-ARM 采集真实与仿真数据
- 微调 GR00t N1.5 模型，在 IsaacLab 中评估，然后部署到硬件
这套流程为开发者提供了一个安全、可重复的训练环境，可在进入真实手术室前不断优化机器人技能。
技术实现
该工作流采用三阶段流程，整合了仿真与真实硬件：
- 数据采集：结合仿真与真实环境中的遥操作演示，使用 SO101 和 LeRobot 平台
- 模型训练：在混合数据集上使用双摄像头视觉输入微调 GR00T N1.5
- 策略部署：基于 RTI DDS 通信协议，将训练好的模型实时运行在真实硬件上
值得一提的是，超过 93% 的策略训练数据来自仿真环境，充分说明仿真技术在缩小机器人数据鸿沟方面的优势。
仿真与现实结合的训练方法
现实世界的机器人训练成本高、操作难度大；而纯粹的仿真又很难完全还原现实复杂性。该流程通过约 70 个仿真演示和 10–20 个真实演示相结合，在模拟多样场景的同时，也保留真实数据的可靠性。最终训练出的策略能更好地泛化，不局限于单一环境。
硬件要求
工作流所需的硬件包括：
- GPU：支持 RT Core 的架构 (Ampere 或更新) 且显存 ≥30GB，用于运行 GR00T N1.5 推理
- SO-ARM101 Follower：6 自由度高精度机械臂，配备手腕摄像头与房间摄像头，采用 WOWROBO 视觉组件，并通过 3D 打印转接头固定
- SO-ARM101 Leader：6 自由度的遥操作控制器，用于采集专家演示
所有仿真、训练和部署任务 (部署需使用 3 台计算机) 均可在一台DGX Spark上完成。
- DGX Sparkhttps://www.nvidia.com/en-us/products/workstations/dgx-spark/
数据采集实现
在真实环境中采集数据 (适用于 SO-ARM101 硬件或任何 LeRobot 支持的版本) ：
python lerobot-record \ --robot.type=so101_follower \ --robot.port=<follower_port_id> \ --robot.cameras="{wrist: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, room: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \ --robot.id=so101_follower_arm \ --teleop.type=so101_leader \ --teleop.port=<leader_port_id> \ --teleop.id=so101_leader_arm \ --dataset.repo_id=<user>/surgical_assistance/surgical_assistance \ --dataset.num_episodes=15 \ --dataset.single_task="Prepare and hand surgical instruments to surgeon"在仿真环境中采集数据：
# With keyboard teleoperation python -m simulation.environments.teleoperation_record \ --enable_cameras \ --record \ --dataset_path=/path/to/save/dataset.hdf5 \ --teleop_device=keyboard # With SO-ARM101 leader arm python -m simulation.environments.teleoperation_record \ --port=<your_leader_arm_port_id> \ --enable_cameras \ --record \ --dataset_path=/path/to/save/dataset.hdf5仿真遥操作控制
没有 SO-ARM101 硬件的用户可以使用键盘控制仿真机械臂：
- 关节 1 (肩部旋转) ：Q (+) / U (-)
- 关节 2 (肩部抬起) ：W (+) / I (-)
- 关节 3 (肘部弯曲) ：E (+) / O (-)
- 关节 4 (手腕弯曲) ：A (+) / J (-)
- 关节 5 (手腕旋转) ：S (+) / K (-)
- 关节 6 (夹爪开合) ：D (+) / L (-)
- R 键：重置录制环境
- N 键：标记当前演示成功
模型训练流程
完成仿真与真实数据采集后，将其转换并组合训练：
# Convert simulation data to LeRobot format python -m training.hdf5_to_lerobot \ --repo_id=surgical_assistance_dataset \ --hdf5_path=/path/to/your/sim_dataset.hdf5 \ --task_description="Autonomous surgical instrument handling and preparation" # Fine-tune GR00T N1.5 on mixed dataset python -m training.gr00t_n1_5.train \ --dataset_path /path/to/your/surgical_assistance_dataset \ --output_dir /path/to/surgical_checkpoints \ --data_config so100_dualcam训练后的模型可处理自然语言指令，如“为医生准备手术刀”或“把镊子递给我”，并控制机器人执行相应动作。借助 LeRobot 的最新版本 (0.4.0) ，你可以直接在 LeRobot 中原生训练 Gr00t N1.5！
完整的仿真采集-训练-评估流程
仿真在形成“采集→训练→评估→部署”的循环中最具价值。
从 v0.3 开始，IsaacLab 完整支持这一流程：
在仿真中生成合成数据
- 使用键盘或硬件控制器遥操作机器人
- 记录多摄像头视角、机器人状态与动作
- 构建包含极端情况的多样化数据集，这些情况在现实中难以安全采集
训练和评估策略
- 深度集成 Isaac Lab 的强化学习框架 (如 PPO)
- 可同时运行数千个仿真环境
- 内置轨迹分析与成功率指标
- 支持在多种情境下进行统计验证
将模型转换为 TensorRT
- 自动化优化以适应生产部署需求
- 支持动态输入形状和多摄像头推理
- 提供性能基准测试工具，确保实时运行能力
这极大地缩短了从实验到部署的周期，让 sim2real 成为日常开发的一部分。
快速开始
SO-ARM 入门工作流已开放，立即开始：
- 克隆代码库：
git clone https://github.com/isaac-for-healthcare/i4h-workflows.git - 选择工作流： 推荐从 SO-ARM 入门工作流开始，也可以探索其他工作流
- 运行初始化脚本： 每个工作流都带有自动化的安装脚本 (如
tools/env_setup_so_arm_starter.sh)
资源链接
- GitHub 项目地址：完整工作流实现
- 官方文档：安装与使用说明
- GR00T 模型页面：预训练模型下载
- 硬件指南：SO-ARM101 安装配置说明
- LeRobot 项目：端到端机器人学习平台
- GitHub 项目地址https://github.com/isaac-for-healthcare/i4h-workflows
- 官方文档https://isaac-for-healthcare.github.io/i4h-docs/
- GR00T 模型页面https://hf.co/nvidia/GR00T-N1.5-3B
- 硬件指南https://hf.co/docs/lerobot/so101
- LeRobot 项目https://github.com/huggingface/lerobot
英文原文: https://huggingface.co/blog/lerobotxnvidia-healthcare
原文作者: Steven Palma, Andres Diaz-Pinto
译者: Luke, Hugging Face Fellow
