从 DROID 到 FastUMI-100K:ZED 系列 如何支撑十万级轨迹数据集

数据采集的难点不在单模态,而在对齐与留存。Stereolabs 的 ZED 数采全景方案 让 ZED 双目 3D 相机 同一次曝光触发链输出 L1–L5 五层模态,SVO2 统一数据管理、回放即重算,直通 LeRobot、DROID 等训练栈。

 

收口问题:七套设备七条时间轴

具身智能数据管线进入生产阶段,瓶颈从单层能否做出来,转向多模态能否对齐。Unidata 生产 rig 的 robot-ready 判据有五条:FOV 匹配、多模态同步、逐关节手部标注、失败案例覆盖、子动作切分,都落在同一条时间轴上。该 rig 以头部 ZED X Mini 加鱼眼、双腕 ZED X One S、中枢 ZED Box 同步录制。

 

型号/模块

核心参数

技术优势

独特之处

ZED X Mini

腕装/头戴 EGO 数采

轻量、近距理想深度 5–150cm

第一人称视角采集

ZED X One S

全局快门、4K STARVIS 2 低光档、RAW10

广角防护(含 Fisheye 版)

户外/暗光环境适配

ZED Box

板载 256GB M.2 SSD

多源数据汇聚与录制中枢

本地落盘、双时间戳边车

ZED 2i

骨骼流 + LSL 生理总线

医疗/评估场景多流同窗

开源仓可复现

ZED Link Duo/Quad

GMSL2 硬件触发

同卡自动帧同步

触发主/从可级联

ZED SDK / SVO2

H.264/H.265/无损 + 时间戳

回放即重算

一次采集多次复用

 

L1–L5 同源同帧:一次曝光,五种模态

ZED 相机 的七层栈中,纹理、深度、位姿、语义、骨骼由同一次曝光触发链给出:L1 全局快门彩色流,L2 NEURAL 三档深度加 16bit 与置信图,L3 VSLAM、VIO 与 IMU 融合位姿,L4 实时 3D 检测跟踪,L5 BODY_18/34/38 逐关节输出。L6 力触觉、L7 语言按外设与标注口径补齐。

 

 

SVO2 数据管理:回放即重算

SVO2 容器把压缩视频、每帧时间戳与传感器元数据放进同一个文件,H.264、H.265、无损三档。载入 SVO 后 API 表现得如同相机在线,深度、位姿、空间建图全部后算。一次录制,事后换深度档或加模块重算,不必重采。

 

视觉-操控整合展示:中央 ZED 双目立体相机与双机械臂腕部双目模块、二指夹爪

 

多机同步与生态出口

多相机走 GMSL2 硬件触发帧同步,ZED Link Duo/Quad 采集卡可作触发主或从并级联。数据出口有官方位:LeRobot 官方第三方传感器文档点名 Stereolabs ZED(lerobot_camera_zmq),FastUMI-100K 十万级轨迹按 LeRobot 格式发布;zed-ros2-wrapper 以 rosbag2 承载采集、回放、训练同一条话题链。

 

应用场景与解决痛点

面向科研:DROID 76,000 条轨迹、ScanNet 1,513 个场景由 ZED 采集,动捕对照 ICC 0.92/0.88。面向工业:ID Logistics 每车 2 相机加 1 台边缘设备,退货与投诉降至四分之一。面向医疗:ChildMind 用 ZED 2i 骨骼流接入 LSL 生理总线。同源采集省去对时与重采成本,是数采管线量产化的关键底座。

 

痛点

ZED 能力

落地价值

多模态设备各走各的时间轴

L1–L5 同一次曝光触发链同源输出

省去多套设备对时与后对齐

采集后模型换代需重采

SVO2 回放即重算,深度档可事后更换

一次采集多次复用,迭代成本降低

多机 rig 帧级不同步

GMSL2 硬件触发,ZED Link 可级联

产线阵列与多机 rig 同帧对齐

数据难进训练栈

LeRobot 官方接入位 + rosbag2 + HDF5

数据集直通训练,免自写转换

 

 

 

 

 

 

 

 

 

 

 

文章详情

 

创建时间:2026-10-26 16:33

信倍通科技(北京)有限公司

 

ICT Tech (Beijing)Co., Ltd

넳 넲