数据集多样性

搜索文档
探究具身机器人有限泛化能力的本质原因!增强策略依然有效
具身智能之心· 2025-08-12 00:03
研究背景与核心问题 - 大规模机器人数据集如Open X-Embodiment(OXE)包含超过一百万段轨迹,但模型在训练数据分布外场景泛化能力有限[2] - 泛化限制主要源于捷径学习(shortcut learning),即模型依赖任务无关特征(如视角、背景)而非真正因果关系[2] - 在SIMPLER环境中,多个通用机器人策略执行"拿起可乐罐"而非指令"将勺子放在毛巾上",显示模型学习虚假相关性而非语言指令与目标关系[2] 数据集多样性和碎片化分析 - OXE子数据集的视觉和文本多样性(对数尺度)显著低于视觉/多模态数据集,最新数据集DROID多样性仍低几个数量级[4] - OXE子数据集通过t-SNE可视化显示明显分离和碎片化,重叠极少,某些子数据集有多个分离簇[8] - 子数据集内机器人技能预定义且限制在狭窄任务范围,轨迹间场景和视角变化有限[10] - 多样性度量显示子数据集内部多样性不足且差异增大时,数据集表现为孤立点而非连贯整体[12] - OXE总任务数182,158,但子数据集间重叠任务仅165,重叠子数据集对占比3.70%[14] - 不同子数据集文本特征比视觉/多模态数据集更接近,源于共享机器人技能和文本指令一致性[12] 数据集特性与捷径学习的理论联系 - 捷径学习发生在模型依赖无关因素时,当任务相关因素和无关因素在训练分布中不独立时形成虚假相关性[15] - 子数据集内独立性和均匀混合假设下,归一化互信息量化任务无关因素与标签相关性[15] - 支持集完全不相交子数据集的归一化互信息与子数据集内总多样性成反比[16] - 任务无关特征(如视觉)的子数据集间距离大于任务相关特征(如文本)时,模型优先学习高方差特征形成捷径[16] 实验验证 - LIBERO环境中提高子数据集内多样性或减少子数据集间差异可减少所有模型捷径依赖,从零成功率转变为非零成功率[17][18] - 实验变量包括视角多样性(子数据集内视角范围半径)、视角差异性(视角范围中心距离)、目标位置多样性和差异性(数量1-5和空间布局)[20] - 扩散策略中增加目标位置多样性无法缓解捷径学习,突显语言指令重要性[21] - 增加视角多样性(从2到10)反而诱导因素相关性加剧碎片化,使MiniVLA的OOD成功率降至零[23][24] - 真实世界实验使用AgileX PIPER机器人臂,添加第三个"桥梁"目标数据完全消除捷径行为,显著提高OOD成功率[26][28] - 视角增强(如ZeroNVS生成新视角)和目标增强(场景间交换目标)策略有效降低捷径学习程度,提高OOD成功率[30][32][34] - 未增强π0模型OOD设置中完全无法遵循指令,增强版本语言遵循和目标到达能力显著改进,SIMPLER环境中捷径度从1.0降至0.68,真实世界从0.8降至0.25[34][35]