【实战源码】TeleGrip：基于VR的机械臂遥操作系统全流程解析

摘要

本文对开源项目 TeleGrip 的架构与源码进行了剖析。该系统基于 LeRobot 框架，通过 VR 端位姿采集—WebSocket 通信—控制循环解算—机械臂执行 的流程，实现虚拟与物理空间的实时映射。前端采用 A-Frame 进行手柄姿态获取与可视化，后端以 Python 实现命令队列、插值与逆运动学计算，并同步驱动 PyBullet 仿真与 SO100 实体机械臂。该框架具有低延迟、高扩展性等特点，可用于 VR 遥操作、具身智能及多模态交互研究。

前言：项目背景与价值

想象一下你戴上 VR 头显，用手柄抓取虚拟物体，现实中的机械臂同步完成同样的动作——这就是 TeleGrip 的核心。
本文将带你从源码角度理解它是如何实现“虚拟到现实”的信号映射与控制闭环的。

GitHub链接：https://github.com/DipFlip/telegrip

对应deepwiki：https://deepwiki.com/DipFlip/telegrip

一、环境配置与运行指南

关于该部分在项目的 GitHub 界面已经写的非常详细，此处仅作简略总结，环境配置如下表所示：

项目是在 Lerobot 的基础上进行的二次开发，使用硬件为典型 6 自由度入门机械臂 SO100，在各个平台均有销售，一套主从臂价格在1400 左右，但注意项目视频中为两从臂；

VR 头显为低成本的 Meta Quest，主要用于采集手柄的位姿信息，注意此处采集采用的是 VR 端的浏览器插件 A-FRAME，对硬件本身要求不高，如无特别需要，最小内存的 Meta Quest 3S 完全够用，其价格在 2000 左右；

项目配置环境时首先要配置 SO100 机械臂的驱动，表中已经给出项目地址，其中包含详细的配置流程，包括 conda 建立新环境、pip 一键安装等，详细如 conda 网络配置等不做概述，此处要注意的点为，在执行完 pip install -e . 后，要再运行 pip install 'lerobot[feetech]'，才能正常运行项目；还有关于 Weights and Biases 的注册等等，不在此处做过多概述；安装完成后可执行example 1 进行验证;

此处完成环境配置并将机械臂通过 USB 连接到电脑后，需要执行 python -m lerobot.find_port 来寻找机械臂的端口号，详细在机械臂的相关二次开发教程中有详细说明。

SO100 安装完成后，开始进行本项目的配置，可在之前 conda 创建的环境中接着进行配置，在 git clone 之后直接 pip install -e .即可，中间可能会报错停止，重复几次即可；此处要注意的点在于 OpenSSL 生成签名证书，如果直接没有进行过相关配置，是必须要进行执行的，最好在项目目录执行该命令，后续在运行时，证书在哪个目录下，就要在哪个目录进行运行。

首次运行时需要进行机械臂活动范围的标定，如果之前没有在 LeRobot 进行过，是必要的步骤，标定需要在配置的环境下执行如下命令 telegrip --log-level info --left-port 机械臂的端口号，此处可在 LeRobot 的官方教程或二次开发文件中查找 机械中值的位置并自己活动各个电机的活动范围，标定完成之后，打断进行正常的运行，得到网址在本机的浏览器运行连接机械臂，并在 VR 端的浏览器输入网址，即可进行遥操；只要机械臂连接成功，即可通过键盘进行调试。

特别注意，在 Ubuntu 系统部署的用户在执行时需要提前给定 机械臂端口权限，如：sudo chmod 666 /dev/ttySO100*

二、项目流程与源码解析

在 GitHub 上有简略的运行流程图如下：

由图可知，输入数据包括 VR 手柄与键盘，前者通过 WebSocket 进行数据传输，后者监听运行服务器的键盘，接着一块送入Control Loop 中进行解算处理，最后将解算的位姿更新到 pybullet 与实际硬件。其与代码对应关系为如下：

从代码角度看整体运行流程如下：

整体大致可分为采集、数据格式统一处理、解算并发送三个流程，其中采集采用 浏览器插件 A-Frame，其是一个基于 HTML 的 WebXR 框架，用于构建虚拟现实（VR）、增强现实（AR）和 3D 场景，运行在普通网页浏览器中。它是 Mozilla 开发的开源项目，目标是让 任何人都能通过写 HTML 快速搭建 3D/VR 应用，此处是使用其进行手柄位置与姿态的采集，同时在该部分使用 websocket 将在 VR 端采集到的数据发送服务端；

接着在服务端 vr_ws_server.py 的进行接收并进行数据的统一处理，注意此处仅包括 VR 端数据，键盘数据因为是本地监听，在监听时就已经做了处理；

处理完成后通过 python 内部通信传输到 control_loop.py ，在 pybullet 中进行 IK 解算，解算完成后将对应的位姿发送到 pybullet 的仿真以及外部实际的硬件中。

各部分详细处理大致如下所示：

此处对应数据采集部分；

此处对应数据统一处理并发送；

此处对应数据 IK 解算、数据发送；

三、小结与运行效果

TeleGrip 项目以 浏览器端 VR 控制 → WebSocket 数据传输 → 后端控制循环解算 → 机械臂动作执行 为核心流程，实现了从虚拟空间到物理空间的实时映射。其系统结构层次清晰、模块划分明确、易于扩展，是一个轻量化的 VR 远程操控框架。

通过 TeleGrip，可以在普通 PC + Meta Quest + 入门级 SO100 机械臂的低成本配置下，实现高精度、低延迟的远程动作控制。
前端基于 A-Frame 框架进行位姿采集与可视化，后端以 Python 为主线，实现了命令队列管理、控制循环计算、运动插值与姿态解算，并支持 PyBullet 仿真与实际硬件同步。

该框架不仅可用于 VR 操控实验、具身智能交互研究、双臂协作任务验证，也可作为后续多模态交互系统（如语音控制、视觉识别、策略优化） 的基础模块，此外 LeRobot 本身也自带许多可进行研究的模块，包括 VLA 模型的训练、微调等。

下图为 TeleGrip 的运行效果示例，展示了 VR 控制器驱动 SO100 机械臂进行同步运动 的过程：

简单遥操

可以看出在大幅度动作时，有些动作对应不上，可能是采用的 IK 解算方法为比较基础的 DLS（阻尼最小二乘法）的关系，也可能是中间数据没有进行插值的原因（简单插值后动作会顺滑一些），不过此处仅作验证，不做过多概述。