【具身智能】具身机器人VLA算法入门及实战（一）：具身智能系统及VLA

具身机器人VLA算法入门及实战（一）：具身智能系统及VLA

• 一、常见具身智能系统
• 二、具身智能数据获取方式
• 三、具身智能-感知系统
• 四、具身智能学习方式
• 五、工业机器人及应用需求
• 六、VLA架构及开源项目
  • 6.1 VLA架构
  • 6.2 开源项目
• 七、机器人操作案例

一、常见具身智能系统

二、具身智能数据获取方式

数据获取平台： Isaac Sim, Isaac Gym, Mujoco, 桃园 2.0

数据增强平台： RoboVerse, Genie Studio, DexMimicGen

三、具身智能-感知系统

四、具身智能学习方式

五、工业机器人及应用需求

六、VLA架构及开源项目

6.1 VLA架构

6.2 开源项目

• 智元机器人（远征A1）
  • EI-Brain框架
    • 云端超脑（任务级）+大脑（任务级+技能级）+小脑（指令级）+脑干（伺服级）
  • 由人形机器人（上海）有限公司、国家地方共建人形机器人创新中心与开放原子开源基金会（OpenAtom Foundation）共同运营的开源项目。本仓库提供了一套基于 MPC 与 WBC 的仿人机器人控制框架，可部署在 Mujoco 仿真平台上。基于国家地方共建人形机器人创新中心“青龙”机器人模型，提供行走、跳跃、盲踩障碍物三种运动示例，在实物样机上实现了机器人的行走、盲踩障碍两种运动。
  • 项目特点
    • 易部署 提供全面的代码运行环境部署解决方案，以便用户能够轻松配置其所需的工作环境，本代码仓库包含了主要依赖，无需进行众多第三方库的安装，简化整个部署过程。
    • 可扩展 控制框架结构采用分层模块化设计，旨在提高系统的可维护性和可扩展性，系统各功能模块在逻辑和功能上具有明确的界限，为二次开发提供了更加友好的环境，使开发人员能够更轻松地对系统进行功能定制和扩展。
    • 易理解 代码结构简洁，遵循针对功能进行模块封装的代码设计原则，应用总线进行模块间数据交互，减少封装冗余，有助于降低代码复杂度；算法实现采用“读取-计算-写入”的简单逻辑，提高代码的可理解性。
  • 开源地址：https://github.com/loongOpen
  • 项目详情：https://github.com/loongOpen/OpenLoong/
• UMI（Stanford）
• DexCap（Stanford）
  • 灵巧手+模仿学习+扩散策略

Openloong（青龙）

七、机器人操作案例