跨本体策略自改进新范式:stretch 3移动操作机器人与franka力控机械臂的复现路径与硬件配置

ETH Zürich、TUM、Microsoft 与 MCML 联合发布论文《Robot Self-Improvement via Human-Video Dynamics Models》(arXiv:2606.21406),提出 Dynamics-Guided Action Correction(DGAC,动力学引导动作修正):机器人先从人类视频习得先验,再在自身真实失败中持续改进,无需在线人工干预。七项真实操作任务平均成功率从约40%提升至81%,助力具身智能策略改进。

 

方法上,论文把人类视频作为第一类监督来源:基于 HOI4D、Arti4D、EgoDex 人类交互视频,联合预训练策略、动力学、价值三个具身无关(embodiment-agnostic)表征,视觉采用 DINO-v3 token 与 TAPIP3D 点轨迹,动作编码为6-DoF位姿与夹爪闭合。部署后,DGAC 在失败状态采样候选动作,动力学模型预测未来、价值模型排序,得分最高的修正动作进入修复集,经优势条件策略更新完成自改进,整体免训练。

 

图1 论文方法总览:人类视频预训练三模型 + 迭代式机器人自改进闭环(来源:论文项目页)

实验在两类本体上展开:移动操作平台采用 Hello Robot Stretch 3(stretch 3开源操作机器人、stretch 3移动操作机器人),静态臂采用 Franka Panda。stretch 3机器人五项任务平均成功率,Ours 达到85.3%,对比 Expert BC 的41.3%;在 π0.5 策略骨干上,SFT 基线62.7%,叠加 DGAC 后达到88.0%。静态臂 Box 任务46.7%→73.3%,Sweep 任务26.7%→66.7%,平均36.7%→70.0%,验证了方法跨本体迁移能力。

图2 静态力控选型 Franka Research 3(FR3)七轴力控机械臂

对科研院校与企业自动化团队,这类课题对移动底盘可达性、多目深度感知、开源软件栈与力控反馈提出明确要求。欣佰特提供 Hello Robot移动操作机器人 选型:覆盖 stretch 3 与新一代 stretch 4移动操作机器人、stretch 4开源操作机器人;静态力控配套 franka机械臂(franka力控机械臂 / fr3机器人 / franka机器人fr3,即 FR3),支持 franka七自由度机械臂 的 franka科研 与 franka教育机器人 建设。

 

平台面向 遥操作 示教、数据采集 与自改进验证:Hello Robot具身智能平台、Hello Robot家庭服务机器人 强调地面到柜体可达与人机共存;7dof开源移动操作机器人 开放栈便于接入 ROS 2 策略与动力学实验。

 

应用场景

· 移动操作科研:家庭/实验室环境导航、抓取、开盖、擦拭、投递等长程操作的算法验证。

· 自改进与失败恢复:记录成功/失败 rollout,复现 DGAC 式失败转监督的策略更新闭环。

· 力控接触操作:静态臂柔顺控制、装配与接触丰富任务的 1kHz 力矩研究。

 

痛点与解决方案

· 痛点:缺少可移动、可达范围足够、开源易二次开发的移动操作底座。方案:Stretch 3 / Stretch 4 开放 ROS 2 与 Python SDK,自带标定与参考 Demo。

· 痛点:静态臂缺关节力矩反馈,难做柔顺与力控研究。方案:FR3 七关节集成力矩传感器,支持 1kHz 力/位控制。

表-产品应用场景与解决痛点汇总表

产品

典型应用场景

解决的痛点问题

Stretch 3

家庭/实验室导航抓取、开盖擦拭、投递等长程移动操作;失败记录与自改进复现

缺可移动、可达桌面到地面,

开源易二次开发的移动操作底座

Stretch 4

长时自主导航与部署、3D SLAM、VLM抓取、家庭服务机器人课题

续航短、需频繁人工接管,

环境感知覆盖不足

FR3

franka力控机械臂

柔顺装配、接触丰富操作、低层力/位控制、课程实验

静态臂缺关节力矩反馈,

难做柔顺与力控研究

通用:

遥操作/数据采集

双视角图像与动作轨迹采集、LeRobot类数据集构建、策略训练

自研采集平台周期长,

感知未标定、接口不统一

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

文章详情

 

创建时间:2026-10-20 16:41

信倍通科技(北京)有限公司

 

ICT Tech (Beijing)Co., Ltd

넳 넲