【具身智能】具身机器人VLA算法入门及实战（一）：具身智能系统及VLA

优质文章学习记录

— 4 min read
【具身智能】具身机器人VLA算法入门及实战（一）：具身智能系统及VLA

具身机器人VLA算法入门及实战（一）：具身智能系统及VLA

一、常见具身智能系统

二、具身智能数据获取方式

在这里插入图片描述
在这里插入图片描述

数据获取平台： Isaac Sim, Isaac Gym, Mujoco, 桃园 2.0

数据增强平台： RoboVerse, Genie Studio, DexMimicGen

三、具身智能-感知系统

在这里插入图片描述

四、具身智能学习方式

在这里插入图片描述
在这里插入图片描述

五、工业机器人及应用需求

在这里插入图片描述
在这里插入图片描述


在这里插入图片描述

六、VLA架构及开源项目

6.1 VLA架构

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.2 开源项目

  • 智元机器人（远征A1）
    • EI-Brain框架
      • 云端超脑（任务级）+大脑（任务级+技能级）+小脑（指令级）+脑干（伺服级）
    • 由人形机器人（上海）有限公司、国家地方共建人形机器人创新中心与开放原子开源基金会（OpenAtom Foundation）共同运营的开源项目。本仓库提供了一套基于 MPC 与 WBC 的仿人机器人控制框架，可部署在 Mujoco 仿真平台上。基于国家地方共建人形机器人创新中心“青龙”机器人模型，提供行走、跳跃、盲踩障碍物三种运动示例，在实物样机上实现了机器人的行走、盲踩障碍两种运动。
    • 项目特点
      • 易部署 提供全面的代码运行环境部署解决方案，以便用户能够轻松配置其所需的工作环境，本代码仓库包含了主要依赖，无需进行众多第三方库的安装，简化整个部署过程。
      • 可扩展 控制框架结构采用分层模块化设计，旨在提高系统的可维护性和可扩展性，系统各功能模块在逻辑和功能上具有明确的界限，为二次开发提供了更加友好的环境，使开发人员能够更轻松地对系统进行功能定制和扩展。
      • 易理解 代码结构简洁，遵循针对功能进行模块封装的代码设计原则，应用总线进行模块间数据交互，减少封装冗余，有助于降低代码复杂度；算法实现采用“读取-计算-写入”的简单逻辑，提高代码的可理解性。
    • 开源地址：https://github.com/loongOpen
    • 项目详情：https://github.com/loongOpen/OpenLoong/
  • UMI（Stanford）
  • DexCap（Stanford）
    • 灵巧手+模仿学习+扩散策略

Openloong（青龙）

在这里插入图片描述

七、机器人操作案例

在这里插入图片描述
在这里插入图片描述

Read more

YOLOv8n机器人场景目标检测实战｜第一周工作笔记1

核心完成项：基于Conda搭建Ultralytics8.0+PyTorch2.1专属环境，完成COCO2017机器人场景子集筛选（8000张，7000训+1000验），跑通YOLOv8n基础训练（epoch=50），小障碍物mAP≥65%，模型可正常输出推理结果，满足周验收全部目标。 环境说明：全程使用Conda进行包管理与环境隔离，无pip命令使用，规避版本兼容问题；模型选用YOLOv8n（轻量化版本，适配机器人端算力限制），替代原计划YOLOv9n，核心实操逻辑一致。 一、本周核心目标与执行思路 1. 核心目标 1. 掌握YOLO系列核心创新与轻量化模型适配逻辑，聚焦机器人室内小场景（室内小障碍物/桌椅/行人/台阶）检测需求； 2. 搭建稳定可复现的Ultralytics+PyTorch训练环境，规避版本冲突； 3. 筛选并整理符合YOLO格式的机器人场景自定义数据集，完成基础标注与训练集/验证集划分； 4. 跑通YOLOv8n基础训练流程，验证数据集与模型兼容性，获取基础精度、参数量、
FPGA Debug：PCIE XDMA没有Link up（驱动检测不到xilinx PCIE设备）使用LTSSM定位问题

FPGA Debug：PCIE XDMA没有Link up（驱动检测不到xilinx PCIE设备）使用LTSSM定位问题

问题现象： 与驱动联调：驱动无法扫描到Xilinx的PCIE设备 通过ila抓取pcie_link_up信号：发现link up一直为低 问题分析：         出现这种情况，在FPGA中搭建测试环境，使用XDMA+BRAM的形式，减少其它模块的影响，框架如下： 1 检查PCIE的时钟 时钟，必须使用原理图上的GT Ref 差分时钟，通过IBUFDSGTE转为单端时钟 2 检查PCIE 复位 复位：PCIE复位信号有要求--上电后，PCIE_RESTN信号需在电源稳定后延迟一段时间再释放，通常是100ms以上 而这100ms的时间，系统主要做以下的事情： * 电源稳定时间 * 参考时钟稳定时间 * PCIe IP核的复位和初始化时间 * 链路训练时间 // 典型的100ms时间分配： 0-10ms   : 电源稳定 (Power Stable) 10-20ms  : 参考时钟稳定 (Refclk Stable)   20-30ms  : 复位释放和PLL锁定 (Reset Release

阿里云的moltbot机器人使用钉钉的Stream流式接入

注意 1. 这个不需要工作流 2. 这个不需要开放外网 具体方法： 1.check代码https://github.com/DingTalk-Real-AI/dingtalk-moltbot-connector 2.package.json增加如下代码 "moltbot": { "extensions": ["./plugin.ts"], "channels": ["dingtalk-connector"], "installDependencies": true } 3.安装插件 moltbot plugins install dingtalk-moltbot-connector 4.增加钉钉配置~/.moltbot/moltbot.json；如果有了进行提花 { "channels"
无人机消防通道占用巡检识别 消防通道占用目标检测数据集 智慧消防场景中违规占用行为自动监测与预警 智慧城市治理巡检第10456期

无人机消防通道占用巡检识别 消防通道占用目标检测数据集 智慧消防场景中违规占用行为自动监测与预警 智慧城市治理巡检第10456期

消防通道占用目标检测数据集 数据集核心信息表 类别数量类别名称数据总量格式种类核心应用价值1消防通道551YOLO 格式用于训练消防通道占用识别模型，助力智慧消防场景中违规占用行为的自动监测与预警 数据集关键要素说明 1. 类别设计 * 聚焦消防场景核心检测需求，仅设置 “消防通道” 单一类别，避免冗余标注干扰模型学习； * 类别定义明确，围绕消防通道的物理特征标注，确保模型能精准定位目标区域。 往期热门主题 主页搜两字"关键词"直达 代码数据获取： 获取方式：***文章底部卡片扫码获取*** . 覆盖了YOLO相关项目、OpenCV项目、CNN项目等所有类别， 覆盖各类项目场景： 项目名称项目名称基于YOLOv8 智慧农业作物长势监测系统基于YOLOv11 人脸识别与管理系统基于YOLOv26 无人机巡检电力线路系统PCB板缺陷检测（基于YOLOv8）智慧铁路轨道异物检测系统（基于YOLOv11）基于YOLOv26 102种犬类检测系统基于YOLOv8 人脸面部活体检测无人机农田病虫害巡检系统（基于YOLOv11）水稻害虫检测识别（基于YOL