ROKOKO动捕在机器人科研的落地：从斯坦福到ETH Zürich与深圳AI与机器人研究院
2024年，斯坦福大学视觉与学习实验室（SVL）与Movement Lab团队发表论文《DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation》（arXiv: 2403.07788），提出了一套便携式手部动捕系统：由ROKOKO动作捕捉手套（电磁场原理）捕捉手指运动，SLAM相机跟踪手腕位姿，胸前RGB-D LiDAR记录场景点云。论文作者包括Chen Wang、李飞飞（Li Fei-Fei）与C. Karen Liu等，是科研动作捕捉在具身智能领域的代表性工作。
凭借这套系统，斯坦福团队仅用30分钟的人类手套动捕数据，就训练出完全自主的灵巧操作策略，全程无需遥操作；在6项灵巧操作任务上验证了方法有效性，数据手套数据采集吞吐量约为传统遥操作的3倍。论文还提出DexIL模仿学习算法，通过指尖逆运动学将人手动作重定向至LEAP灵巧手，并支持人类在环修正，进一步优化机器人策略——这正是具身智能数据采集与灵巧操作数据采集结合的前沿范式。
ROKOKO在机器人科研中的应用不止于此：ETH Zürich团队使用Smartgloves开展灵巧任务学习研究；多伦多大学将动捕用于建筑安全机器人研究；深圳AI与机器人研究院使用ROKOKO设备进行人形机器人动捕与遥操作；Foundation Robotics用Smartgloves II测试新型机械手；YAAK.ai则结合Smartgloves II与Coil Pro完成高精度机器人遥操作演示。这些案例共同指向一个趋势：动作捕捉数据正在成为灵巧操作与具身智能研究的核心基础设施。
图：DexCap 人类在环修正与策略微调流程（来源：斯坦福 DexCap 项目主页，dex-cap.github.io）
对科研团队而言，ROKOKO设备的价值在于开放与可控：ROKOKO Device SDK提供原始传感器数据与微秒级时间戳，支持Windows、macOS、Linux x64与Linux Arm64平台，可自定义数据管线；手骨求解器与OpenXR输出则降低了将手套数据接入机器人仿真环境的门槛。设备价格远低于光学系统，使更多实验室能够以实验室动捕设备的预算建立论文级动作数据采集能力。
图：ROKOKO Smartgloves II 数据手套
|
产品 |
典型应用场景 |
解决的痛点问题 |
|
Smartsuit Pro II |
全身动作捕捉、动画/影视制作、人形机器人全身遥操作、步态与人体运动分析、虚拟制作 |
光学动捕成本高、场地受限、穿戴繁琐；需要可便携、可快速部署的全身动捕方案 |
|
Smartgloves II |
灵巧手遥操作、机器人训练数据采集、手指动捕、VR/XR 交互、生物力学、手势识别研究 |
手指级动作数据缺失、遮挡导致追踪失败、高延迟影响遥操作手感 |
|
Coil Pro |
机器人演示、遥操作全局定位、虚拟制作空间跟踪 |
惯性系统漂移、绝对位置信息缺失 |
|
Face Capture / Headcam |
面部表情捕捉、完整表演捕捉 |
面部数据与身体/手指数据割裂，难以统一到同一工作流 |
|
Rokoko Studio / Device SDK |
数据管线搭建、科研数据处理、ML/AI 训练数据生产 |
数据格式不统一、工具链集成难、原始数据不可访问 |
应用场景
ROKOKO动捕产品适用于灵巧操作数据采集、模仿学习、遥操作研究、人形机器人动捕、步态分析、生物力学、人机交互等科研方向，支撑科研动作捕捉从数据到论文的完整链路。
痛点问题和解决方案
帮助研究者解决动作数据采集成本高、遮挡下手指追踪失效、数据规模不足、数据管线难以定制等痛点，为论文级动作数据研究提供可复现、可溯源的动作数据。
|
产品型号 |
核心技术参数 |
独特优势 |
适用平台或接口 |
|
Smartsuit Pro II（无线全身动捕服） |
100 Hz 数据流（SDK 默认）；19 个传感器节点（独立版）/17 个（配手套版）；尺寸 S–XL；Wi-Fi 无线连接 |
无需光学相机，几分钟完成穿戴部署；电子模块 5 分钟内可换装；可组合 Smartgloves II 与 Coil Pro 实现全身+手指+绝对位置采集 |
Rokoko Studio、Device SDK（RGMP 协议）；Unity/Unreal/Blender/Maya；导出 FBX/BVH/CSV；Windows/macOS/Linux |
|
Smartgloves II（数据手套） |
250 Hz 内部 IMU 采样；83.33 Hz 位姿输出；39 自由度输出位姿（配 Coil Pro 为 45 自由度）；每只 7 个传感器（5 指+前臂+HUB）；IMU+EMF 双模融合；约 12 ms USB 处理延迟；Wi-Fi TCP 流 |
电磁场（EMF）定位抗遮挡；续航较上代提升 50%；可定制 LED、实体按键、USB 数据流；可对接多种灵巧手 |
Device SDK（RGMP）；ROS 2、NVIDIA Isaac Lab、OpenXR；手骨求解器（26 关节）；可补充到 OptiTrack/Vicon 光学系统 |
|
Coil Pro（EMF 定位装置） |
电磁场绝对位置跟踪；配 Smartgloves II 输出 45 自由度完整位姿 |
无漂移全局定位；扩展捕捉工作空间；无相机依赖 |
Device SDK（RGMP）；与 Smartgloves II、Smartsuit Pro II 组合使用 |
|
Face Capture / Headcam（面部捕捉） |
iOS/Android 工作流 |
与全身、手指动捕协同的完整表演捕捉 |
Rokoko Studio、手机端 |
|
Rokoko Studio / Device SDK（软件生态） |
录制、编辑、重定向、导出 FBX/BVH/CSV；SDK 支持 Windows/macOS/Linux x64/Linux Arm64；单台中端笔记本可同时处理约 20 只手套（83 Hz） |
数据优先的 ML/AI 管线；实时直播到 3D 工具；RGMP 微秒级时间戳；开放原始 IMU/位姿/位置数据 |
Unity、Unreal、Blender、Maya、Houdini、Cinema 4D、iClone、MoveIt、MuJoCo、ROS 2、Isaac Lab、OpenXR |
