从 DROID 到 FastUMI-100K:ZED 系列 如何支撑十万级轨迹数据集
数据采集的难点不在单模态,而在对齐与留存。Stereolabs 的 ZED 数采全景方案 让 ZED 双目 3D 相机 同一次曝光触发链输出 L1–L5 五层模态,SVO2 统一数据管理、回放即重算,直通 LeRobot、DROID 等训练栈。
收口问题:七套设备七条时间轴
具身智能数据管线进入生产阶段,瓶颈从单层能否做出来,转向多模态能否对齐。Unidata 生产 rig 的 robot-ready 判据有五条:FOV 匹配、多模态同步、逐关节手部标注、失败案例覆盖、子动作切分,都落在同一条时间轴上。该 rig 以头部 ZED X Mini 加鱼眼、双腕 ZED X One S、中枢 ZED Box 同步录制。
|
型号/模块 |
核心参数 |
技术优势 |
独特之处 |
|
ZED X Mini |
腕装/头戴 EGO 数采 |
轻量、近距理想深度 5–150cm |
第一人称视角采集 |
|
ZED X One S |
全局快门、4K STARVIS 2 低光档、RAW10 |
广角防护(含 Fisheye 版) |
户外/暗光环境适配 |
|
ZED Box |
板载 256GB M.2 SSD |
多源数据汇聚与录制中枢 |
本地落盘、双时间戳边车 |
|
ZED 2i |
骨骼流 + LSL 生理总线 |
医疗/评估场景多流同窗 |
开源仓可复现 |
|
ZED Link Duo/Quad |
GMSL2 硬件触发 |
同卡自动帧同步 |
触发主/从可级联 |
|
ZED SDK / SVO2 |
H.264/H.265/无损 + 时间戳 |
回放即重算 |
一次采集多次复用 |
L1–L5 同源同帧:一次曝光,五种模态
ZED 相机 的七层栈中,纹理、深度、位姿、语义、骨骼由同一次曝光触发链给出:L1 全局快门彩色流,L2 NEURAL 三档深度加 16bit 与置信图,L3 VSLAM、VIO 与 IMU 融合位姿,L4 实时 3D 检测跟踪,L5 BODY_18/34/38 逐关节输出。L6 力触觉、L7 语言按外设与标注口径补齐。

SVO2 数据管理:回放即重算
SVO2 容器把压缩视频、每帧时间戳与传感器元数据放进同一个文件,H.264、H.265、无损三档。载入 SVO 后 API 表现得如同相机在线,深度、位姿、空间建图全部后算。一次录制,事后换深度档或加模块重算,不必重采。


视觉-操控整合展示:中央 ZED 双目立体相机与双机械臂腕部双目模块、二指夹爪
多机同步与生态出口
多相机走 GMSL2 硬件触发帧同步,ZED Link Duo/Quad 采集卡可作触发主或从并级联。数据出口有官方位:LeRobot 官方第三方传感器文档点名 Stereolabs ZED(lerobot_camera_zmq),FastUMI-100K 十万级轨迹按 LeRobot 格式发布;zed-ros2-wrapper 以 rosbag2 承载采集、回放、训练同一条话题链。
应用场景与解决痛点
面向科研:DROID 76,000 条轨迹、ScanNet 1,513 个场景由 ZED 采集,动捕对照 ICC 0.92/0.88。面向工业:ID Logistics 每车 2 相机加 1 台边缘设备,退货与投诉降至四分之一。面向医疗:ChildMind 用 ZED 2i 骨骼流接入 LSL 生理总线。同源采集省去对时与重采成本,是数采管线量产化的关键底座。
|
痛点 |
ZED 能力 |
落地价值 |
|
多模态设备各走各的时间轴 |
L1–L5 同一次曝光触发链同源输出 |
省去多套设备对时与后对齐 |
|
采集后模型换代需重采 |
SVO2 回放即重算,深度档可事后更换 |
一次采集多次复用,迭代成本降低 |
|
多机 rig 帧级不同步 |
GMSL2 硬件触发,ZED Link 可级联 |
产线阵列与多机 rig 同帧对齐 |
|
数据难进训练栈 |
LeRobot 官方接入位 + rosbag2 + HDF5 |
数据集直通训练,免自写转换 |
