最新动态

具身智能进入Agentic Robotics时代?清华、伯克利开源统一RUA框架

2026-11-12
9421次

编辑|杨文 机器人正迎来自己的 Computer Use 时刻。 昨天,Anthropic 发布的 Fable 5.2 带来新进展。相比前代模型,它的物理机器人控制能力明显提升,甚至能完成此前从未接受过专项训练的任务。 https://mp.weixin.qq.com/s/_CWa2_CbkfSKD9jSe7l11A 在 RoboDojo Sim 仿真评测中,Fable 5.2 以 64.9% 的得分,远超 Anthropic 内部同配置测试中的 GPT-6 Astra(29.8%)。 早在 9 月,MIT 研究者 Phillip Isola 就在《Robot-Use Agents》提出,未来,接入互联网并开放传感器、执行器接口的机器人,都可能成为通用 Agent 可以调用的工具。 这也契合 具身智能领域的 System 1、System 2 分工思路 ,通用模型负责高层推理和任务规划,底层策略负责具体动作执行。GPT-6 Astra、Fable 5.2 等模型已初步验证这条路线的可行性。 然而,要让它真正跑通,还有两个关键问题亟待解决。 其一是模型 。闭源前沿模型已经展示出不错的机器人操作能力,但研究者无法直接获取权重,更难以利用机器人交互数据对其进行持续训练。 其二是系统 。不同机器人在硬件结构、传感器和控制接口上差异显著,仿真与真实环境也各不相同。如果每接入一种机器人都需要重新开发工具系统,跨环境迁移和规模化实验的成本将居高不下。 因此,RUA 需要一套统一的交互接口,屏蔽不同硬件和环境的底层差异,让模型能够以一致的方式获取感知信息、调用控制工具并接收执行反馈。 近日,清华大学丁宁、刘知远、徐梦迪、周伯文等人的研究团队,联合加州大学伯克利分校教授、伯克利人工智能研究实验室(BAIR)联合主任 Pieter Abbeel 团队,共同推出并开源了 uni-robot-agent ,试图为 Robot-Use Agent(RUA)建立一套统一、模块化的 Harness,让语言模型能够通过标准化工具接口操控不同机器人和仿真环境。 论文链接:https://arxiv.org/pdf/2611.01560 博客链接:https://openrua.ai/uni-robot-agent 代码链接:https://github.com/Open-RUA/uni-robot-agent 这套框架在实际评测中表现不俗。在 RoboDojo 基准上,开放权重模型 Qwen3.8-Flash-Next 搭配该框架取得 31.39 分,超过 RoboDojo 官方此前公布的 GPT-6 Astra + RoboProbe 的 28.97 分。同一框架下,GPT-6 Astra 进一步取得 51.90 分。 在真机 19 项任务评测中,未经任务专项微调的 Qwen 取得 53.50 分,分别领先微调后的 π₀.₅ 和零样本 Dream-1 达 5.75 分、10 分。GPT-6 Astra 搭配该框架则取得 80.50 分。 跑分之外,这项工作还测试了模型能把机器人操作到什么程度,把失败原因、能力短板和运行成本都扒了出来。 更进一步,他们想搭建一套通用底座,让开源模型能够接入不同机器人,也为后续的训练和本地化部署铺路。 统一接口为何是跨环境泛化的基础? 在 Coding Agent 领域,同一套工具可以用于不同的编程任务,模型通过相似的接口读取文件、执行代码、查看运行结果,能够在不同环境中复用已有的工具使用经验。 机器人操作则涉及更多硬件差异。即使都是抓取物体,单臂机器人和双臂机器人的动作接口也可能不同,模型需要理解新的参数、坐标系和控制规则,原有的工具调用经验难以直接迁移。 uni-robot-agent 希望通过统一工具接口打通这些差异。 例如,Franka 单臂机器人需要定位、抓取并堆叠积木,ALOHA 双臂机器人需要协调两只机械臂完成物体交接,真实 YuMi 双臂机器人则需要控制插销与插孔的对齐和插接。尽管硬件结构、动作空间和任务目标不同,模型都能调用统一的感知、运动、技能和任务控制接口,由底层适配器处理不同机器人的控制差异。 换句话说, 模型可以沿用一致的工具调用规则 。接入新环境时,开发者主要需要实现对应的适配器,减少对上层 Agent 逻辑的修改。 工具在不同环境中的复用情况。 统一接口还有更深一层的意义。 如果不同环境使用相同的工具语义、参数单位和反馈格式,机器人执行任务产生的交互轨迹就更容易放在一起,模型在单臂堆叠、双臂交接和真机插接中积累的经验,可以汇集到同一套数据体系。 这种设计 为跨环境 Agent 训练创造了条件 ,研究者有机会利用不同机器人上的交互数据训练同一个模型,学习可迁移的工具使用与操作能力。 uni-robot

about image
本文网址: home-qiuyoucn.com/detail/549033.html

销售热线

营销一部(传统产品):王部长 15371160678
营销二部(光伏焊带):曹部长 13921871003

电子邮箱

purported@att.net

公司地址

明光市轧胖星海54号

 Copyright © 球友会 (中国)官方网站 2024 版权所有 All rights reserved 球友会 (中国)官方网站