视触觉实时补偿机制:GelSight Mini 应对GPU装配抓取滑移与外力扰动
电子精密装配、小件插接、窄间隙插入等任务,要求机器人同时具备亚毫米定位能力和实时接触补偿能力。传统视觉规划方案难以稳定处理接触突变,端到端策略又常缺少可解释、可调试的高频控制通道。

CoStream 通过语义、预测、反应三类行为解耦与融合,为接触密集型机器人操作提供了一种更工程化的实现路径。

【图 1:CoStream 整体架构图】
核心硬件依赖
CoStream 的实验验证高度依赖两类硬件能力:
- Franka Panda 七轴协作机械臂
Franka Panda 具备全关节力矩传感、高重复定位精度和实时阻抗控制能力,适合精密装配、力控交互和科研验证场景。
- GelSight Mini 视触觉传感器
GelSight 能够捕捉接触表面形变、法向信息和细微滑移,为系统提供独立于视觉的高频触觉反馈通道,帮助机器人在抓取和插入过程中实时修正位姿。
二者结合,使系统能够在接触发生时快速响应,而不是只依赖预先规划的运动路径。
实验验证价值
论文实验结果显示:
- 在窄间隙精密装配任务中,无触觉基线方案稳定性较差;
- 搭载 GelSight 视触觉反馈后,系统对接触变化和工件滑移更敏感;
- 即使存在人为扰动,系统仍能通过触觉闭环进行姿态校正;
- 同一套框架可覆盖精密装配、日常抓取等不同任务类型。

【图 2:人为扰动下 GelSight 触觉实时校正效果】
信倍通配套方案
针对高校实验室、企业研发中心和具身智能研究团队,信倍通可提供 Franka 机械臂、GelSight 视触觉传感器、深度相机、电动夹爪、机器人工作台等硬件配套,并支持 ROS 集成、多传感器同步、触觉算法适配等技术服务。
通过这套方案,研发团队可以更快搭建 CoStream 同款多模态精密操作实验平台,开展接触控制、视触觉融合和精密装配方向研究。

【图 3:Franka Panda 双机械臂 + GelSight 硬件实验平台】
引用论文
项目官网:https://costream-simple.github.io/
论文arXiv:https://arxiv.org/abs/2606.26423
创建时间:2026-07-23 11:10
