机器人灵巧操作新突破:学习系鞋带与挂衣服

机器人灵巧性的最新进展

人们每天会执行许多任务,比如系鞋带或拧螺丝。但对于机器人来说,学习这些高度灵巧的任务非常困难。为了让机器人在人们的生活中更有用,它们需要更好地在动态环境中与物理对象进行接触。

近日,研究机构发布了两篇关于机器人灵巧性研究的最新人工智能(AI)进展的论文:ALOHA Unleashed,帮助机器人学习执行复杂和新颖的双臂操作任务;以及 DemoStart,它使用模拟仿真来提高多指机械手在真实世界中的性能。

通过帮助机器人从人类示范中学习并将图像转化为行动,这些系统正在为能够执行各种有用任务的机器人铺平道路。

用双机械臂改进模仿学习

到目前为止,大多数先进的AI机器人只能使用单臂拾取和放置物体。在新论文中,研究机构展示了ALOHA Unleashed,它在双臂操作中实现了高水平的灵巧性。使用这种新方法,机器人学会了系鞋带、挂衬衫、修理另一个机器人、插入齿轮,甚至清洁厨房。

您的浏览器不支持视频标签。

双手机器人拉直鞋带并将其系成蝴蝶结的示例。

您的浏览器不支持视频标签。

双手机器人将一件Polo衫平铺在桌子上,将其挂在衣架上,然后挂到衣架上的示例。

您的浏览器不支持视频标签。

双手机器人修理另一个机器人的示例。

ALOHA Unleashed 方法建立在 ALOHA 2 平台之上,该平台基于某大学最初的 ALOHA(一种用于双手远程操作的低成本开源硬件系统)。ALOHA 2 比以前的系统灵巧得多,因为它有两只手,可以轻松地进行远程操作以进行训练和数据收集,并且允许机器人通过更少的示范学习如何执行新任务。

研究机构还改进了机器人硬件的工效学,并增强了最新系统中的学习过程。首先,通过远程操作机器人的行为来收集示范数据,执行系鞋带和挂T恤等困难任务。接下来,应用了一种扩散方法,从随机噪声中预测机器人的动作,类似于图像生成模型生成图像的方式。这有助于机器人从数据中学习,从而独立执行相同的任务。

从少量模拟示范中学习机器人行为

控制一只灵巧的机器手是一项复杂的任务,每增加一个手指、关节和传感器,复杂程度都会增加。在另一篇新论文中,研究机构介绍了 DemoStart,它使用强化学习算法帮助机器人在模拟中获得灵巧的行为。这些学习到的行为对于复杂的实体(如多指手)特别有用。

DemoStart 首先从简单的状态开始学习,随着时间的推移,开始从更困难的状态中学习,直到它尽其所能掌握一项任务。与通常为了同一目的而从真实世界示例中学习所需的模拟示范相比,它学习在模拟中解决问题所需的模拟示范减少了 100 倍。

该机器人在模拟中的多项不同任务上实现了超过 98% 的成功率,包括重新定向显示特定颜色的立方体、拧紧螺母和螺栓以及整理工具。在真实世界设置中,它在立方体重新定向和提升方面达到了 97% 的成功率,在需要高手指协调和精度的插头-插座插入任务中达到了 64% 的成功率。

您的浏览器不支持视频标签。

机械臂学习在模拟仿真(左)和真实世界设置(右)中成功插入黄色连接器的示例。

您的浏览器不支持视频标签。

机械臂学习在模拟仿真中拧紧螺栓的示例。

研究机构使用开源物理模拟器 MuJoCo 开发了 DemoStart。在模拟中掌握一系列任务并使用标准技术(如领域随机化)减少模拟到现实的差距后,该方法能够几乎零样本地迁移到物理世界。

模拟中的机器人学习可以降低运行实际物理实验的成本和时间。但设计这些模拟很困难,而且,它们并不总能成功地转化为真实世界的性能。通过将强化学习与从少量示范中学习相结合,DemoStart 的渐进式学习会自动生成一个课程,弥合了模拟与现实之间的差距,使从模拟到物理机器人的知识迁移更加容易,并降低了运行物理实验所需的成本和时间。

为了实现通过密集实验进行更先进的机器人学习,研究机构在一款名为 DEX-EE 的三指机械手上测试了这种新方法,该机械手是与某机器人公司合作开发的。

与某机构机器人团队合作开发的 DEX-EE 灵巧机械手图像

机器人灵巧性的未来

机器人技术是人工智能研究的一个独特领域,它展示了研究方法在现实世界中的有效性。例如,一个大型语言模型可以告诉你如何拧紧螺栓或系鞋带,但即使它被具身到一个机器人中,它自己也無法執行這些任务。

总有一天,人工智能机器人将帮助人们在家庭、工作场所等地方完成各种任务。灵巧性研究,包括今天介绍的这种高效且通用的学习方法,将有助于使那个未来成为可能。

在机器人能够像人一样轻松、精确地抓取和处理物体之前,还有很长的路要走,但正在取得重大进展,每一项突破性创新都是朝着正确方向迈出的又一步。FINISHED
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号(网络安全技术点滴分享)

Read more

前端小案例——网页井字棋

前端小案例——网页井字棋

前言:我们在学习完了HTML、CSS和JavaScript之后,就会想着使用这三个东西去做一些小案例,不过又没有什么好的案例让我们去练手,本篇文章就提供里一个案例——网页井字棋。 ✨✨✨这里是秋刀鱼不做梦的BLOG ✨✨✨想要了解更多内容可以访问我的主页秋刀鱼不做梦-ZEEKLOG博客 目录 写在前面         ——该案例的全部代码已经放在文章末尾,有兴趣的读者可以到最后将全部代码复制到自己的编译器上运行,感受一下井字棋案例的最终效果!!! ——首先先让我们了解一下我们需要了解的前置知识: 1.HTML骨架 2.CSS装饰 1. 引入字体和全局样式 2.设置 body 样式 3 设置 .wrapper 样式 4.设置 .current-status 和其中的元素样式  5.设置 board 和 .cell 样式 6.鼠标悬浮时的图片效果 7.设置 game-end-overlay 样式 8 设置 .winning-message 样式 9.

Python Web 框架对比与实战:Django vs Flask vs FastAPI

Python Web 框架对比与实战:Django vs Flask vs FastAPI 1. 背景与动机 Python 拥有丰富的 Web 开发框架,每个框架都有其特点和适用场景。本文对比 Django、Flask 和 FastAPI 三大主流框架,帮助开发者选择合适的工具。 2. 框架对比 特性DjangoFlaskFastAPI学习曲线陡峭平缓中等功能完整性全功能微框架现代API性能中等中等高异步支持有限扩展支持原生支持自动文档无扩展内置 3. Django 实战 # models.py from django.db import models class Article(models.Model): title = models.CharField(max_length=200) content = models.TextField() created_at

前端TypeScript高级技巧:让你的代码更安全

前端TypeScript高级技巧:让你的代码更安全 毒舌时刻 前端TypeScript?这不是增加工作量吗? "JavaScript就够了,为什么要用TypeScript"——结果类型错误频发,调试困难, "TypeScript太严格了,我写起来很麻烦"——结果代码质量差,维护困难, "我只在关键地方用TypeScript,其他地方用any"——结果失去了TypeScript的意义。 醒醒吧,TypeScript不是负担,而是提高代码质量的利器! 为什么你需要这个? * 类型安全:在编译时发现类型错误 * 代码提示:提供更好的IDE智能提示 * 重构安全:重构代码时更加安全 * 可读性:代码更加清晰易懂 * 可维护性:减少运行时错误,提高代码可维护性 反面教材 // 反面教材:过度使用any function processData(data: any) { // 没有类型检查,容易出错 return data.name.toUpperCase(

不懂blender的前端工程师,不是好的程序员,带你一揽web3D技术栈

不懂blender的前端工程师,不是好的程序员,带你一揽web3D技术栈

作为前端工程师转向Blender+3D交互的数字孪生/智慧工厂领域,这是个非常有前景的方向! 一、核心基础技术 (前端3D核心) 1. Three.js * 为什么: Web端3D渲染的基石,90%的工业级Web3D项目基于它。 * 关键点: * 场景(Scene)、相机(Camera)、渲染器(Renderer) * 几何体(Geometry)、材质(Material)、光照(Light) * 加载器(GLTFLoader, OBJLoader) * 性能优化(实例化InstancedMesh, LOD, 遮挡剔除) 1. Blender (建模+数据导出) * 关键技能: * 工业设备建模(低多边形优化) * UV展开与纹理烘焙 * 动画制作(设备运动/状态切换) * glTF 2.0导出(首选格式,保留材质/