文章核心观点 - 截至2025年12月，机器人学习领域的主流系统几乎全部基于行为克隆技术，其核心是通过监督学习模仿人类专家的演示数据[5] - 当前的行为克隆系统面临分布外状态、误差累积、数据收集瓶颈以及无法自我提升等根本性挑战，导致其在实际应用中并不好用[39][40] - 尽管强化学习在理论上能克服行为克隆的局限，但在真实机器人场景中，由于无法从同一状态反复执行、缺乏强基础策略以及仿真与现实差距等问题，其应用仍面临巨大障碍[53][55][62] - 未来的发展路径可能依赖于高质量世界模型的构建，以及持续改进的人类示范数据收集系统，但实现通用、鲁棒且高效的机器人学习仍需长期研究[71][73] 现代机器人学习技术栈剖析 - 数据来源：当前行为克隆系统的数据主要来自三种方式：主从控制方案、智能演示手套以及直接的人类示范视频[7] - 主从控制方案：通过人类操作主臂直接控制从臂机器人，其优点是能记录全套传感器数据且动作在运动学上可行，但缺点是操作速度比人类徒手慢得多，可达10倍[8][9] - 智能演示手套：人类手持配备简化传感器的设备进行操作，通过SLAM和逆运动学重建状态与动作，优点是更易上手、示教更快、部署成本更低，但存在严重的域差距和运动学可行性问题[10][11][18] - 直接人类示范：来源广泛，如YouTube视频或工厂工人佩戴摄像头记录，数据规模巨大且产生于完整人类速度，但存在巨大的状态与动作重建差距，且轨迹往往在运动学上不可行[12][13][19] 行为克隆的核心挑战与应对 - 分布外状态问题：由于真实世界与训练数据的微小差异、任务本身的不确定性与多模态性，以及动作预测误差的递归累积，策略在实际执行时会逐渐偏离训练分布[16][17][21] - DAgger方法：为解决OOD问题，不能仅用专家数据训练，必须引入DAgger风格的方法，即收集策略在失败状态下的恢复数据，训练模型学会从错误中恢复[26] - DAgger的实践：构建DAgger数据是一个高度迭代、耗时且需要大量人工判断的“艺术”过程，通常在预训练好的基础策略上进行，旨在提升策略的鲁棒性[29][30][32] - DAgger的局限：虽然能提高平均任务完成速度和鲁棒性，但无法提升策略在最理想情况下的执行速度，且随着策略变鲁棒，评估其性能所需的时间会急剧增加[37][33] 超越行为克隆：强化学习的困境 - 理论优势：强化学习能实现自我提升、自主探索并从糟糕状态中脱困，达到甚至超过人类水平的执行速度，是理想的替代方案[40][45] - 与LLM强化学习的差异：大语言模型的强化学习成功依赖于能从完全相同的状态无限次执行，且拥有非常强的基础策略，这两个条件在真实机器人领域均不具备[46][47][53] - 仿真中的强化学习：在仿真器中训练可避免物理限制，但仿真器是现实世界的糟糕仿制品，存在物理简化、视觉差距等问题，导致严重的sim-to-real差距，策略迁移后表现糟糕[55][56] - 真实世界中的强化学习：直接学习策略的真实执行数据面临核心障碍，即无法回答“反事实”问题，必须依赖仿真或学习高质量的世界模型/Q函数来想象不同动作的结果，但这仍是开放研究难题[62][64][68] 未来预测与创业建议 - 技术预测：未来2年内，视觉语言动作模型将被视频模型骨干取代；10年内，能很好模拟通用开放世界交互的世界模型将出现，策略可通过从世界模型中抽取获得；传统仿真引擎将作为数据生成器，但核心是端到端学习的[71] - 数据的重要性：接近专家级的示范数据对微调世界模型至关重要，而真实机器人的执行数据仍是实现超人级性能所必需的[76] - 创业方向建议：构建软硬件一体的人类示范系统是确定可靠的方向，能有效降低数据收集痛点并证明能产出高质量策略的公司将成为极具吸引力的合作伙伴或收购对象[73] - 应避免的创业方向：数据标注是高度商品化的人力套利业务；预训练数据销售是苦生意且需证明有效性；评估必须内部完成，无法外包；通用的机器人数据平台不可能出现[76]