Workflow
实时轨迹生成模块
icon
搜索文档
通用全身机器人操控更进一步!学习现实世界全身操控任务的统一框架
具身智能之心· 2025-07-27 09:37
核心观点 - 打造通用智能机器人需模仿人类进化轨迹,通过与环境持续互动学习并由模仿人类行为推动,面临机器人硬件设计、遥操作界面开发和学习算法创建三大挑战 [4] - 提出的星尘机器人套件(Astribot Suite)整合了高性能机器人平台、直观遥操作界面和全身视觉-运动策略算法,在需全身协调的任务中展现有效性 [4][7] - 该套件通过硬件系统、数据收集方法和学习算法的紧密整合,为现实世界通用全身机器人操控奠定基础 [4][7][28] 硬件系统 - 星尘机器人S1配备双7自由度手臂、4自由度躯干、2自由度头部和3自由度全向移动基座,垂直触及范围2米,水平触及1.94米,关键性能指标超过普通成年男性 [10][12] - 单臂载荷5公斤,夹具开合最快0.15秒,末端执行器最大速度≥10m/s,最大加速度100m/s²,定位重复精度±0.1mm [10][12] - 配备多模态传感器:头部立体RGB相机、手腕RGB-D相机(30Hz)、胸部RGB-D相机和底盘360度激光雷达,实现全场景感知 [12] - 移动基座最大线速度2米/秒,支持前后运动、横向平移和原地旋转 [13] 遥操作界面 - 采用Meta Quest 3S头显和操纵杆(总成本<300美元),支持第一人称(精细操控)和第三人称(大范围运动)双模式切换 [14][16] - 控制频率100Hz,端到端延迟20毫秒,图像传输延迟约100毫秒,示范轨迹重放成功率近100% [14][16] - 通过倾翻保护机制和基于模型的主动柔顺控制实现安全防护,接触冲击力缓解效果显著 [16] 学习算法 - DuoCore-WB算法在末端执行器空间对动作去噪,采用自我中心框架的delta姿态表示,仅用RGB观测训练,与VLA预训练管道兼容 [19][21] - 实时轨迹生成模块(RTG)通过二次规划优化解决动作块间不连续性问题,执行频率250Hz,将关节速度限制在安全范围内 [21][27] - 在六个代表性任务中平均成功率80%,末端执行器空间表示比关节空间精度更高,自我中心框架增量动作表示泛化能力更强 [26] 实验验证 - 遥操作界面下专家完成简单任务耗时比人类多28.27%,复杂全身任务多41.43%,非专家分别多60.93%和94.80% [25] - "递送饮料"、"扔玩具"等任务端到端成功率最高达100%,"按下垃圾桶盖"子任务因视觉对比度低成功率最低 [23][26] - RTG模块使速度峰值降低67%,轨迹漂移减少83%,显著提升执行稳定性和策略鲁棒性 [27] 未来方向 - 硬件增强:提升敏捷性和安全性,扩展传感器融合能力 [28] - 人机交互:开发更直观的智能交互方法 [28] - 模型优化:改进架构设计,实现大规模预训练策略的高效部署 [28]