技术亮点 - 采用异构数据协同训练方式 整合多个机器人、高级语义预测、网络数据等多种不同来源数据 实现更广泛泛化 [2] - 多模态数据深度融合 包括图像观察、语言命令、目标检测、语义子任务预测和低级动作数据 建立不同模态间关联 [4] - 基于通用视觉语言模型构建 通过优化网络结构减少信息传递损耗 采用高效卷积神经网络提取视觉特征 改进网络结构增强长文本理解 [6] - 通过调整参数更新策略如自适应学习率算法加快模型收敛 在有限时间和资源下充分学习数据源知识与模式 [6] 泛化能力突破 - 泛化性能随训练集中不同环境数量增加稳步提升 经过约100个训练环境后性能接近直接在测试环境中训练的基线模型 [7] - 在全新真实家庭环境中成功完成"抽屉内物品整理""洗衣篮归置"和"水槽内餐具清洗"三项测试任务 [8] - 能够理解任务语义并拆解复杂任务流程 在训练数据未遇到过的新家庭环境中完成清洁任务 [8][9] - 通过联合训练不同模态数据增强从语言到策略的知识迁移能力 实现更灵活泛化 [11] 合作伙伴关系 - 广和通推出新一代具身智能平台Fibot 搭载自研高算力机器人域控制器与多传感器融合系统 通过VR眼镜实现操作员与双臂机器人联动操作 已成功投入到π0.5模型数据采集进程 [13][15] - 方舟无限长期提供硬件支持 在2025年5月模型演示中使用机械臂在陌生厨房卧室环境中执行复杂指令 产品贯穿Physical Intelligence多代模型迭代 [16][17] - 星尘智能为早期合作伙伴 2024年11月Astribot S1机器人嵌入初代模型π0 采用绳驱传动技术模拟人类肌腱用力方式 为π0.5模型训练提供多维度数据资源 [18][23]

开源模型技术突破 - Physical Intelligence开源π0.5模型 通过知识隔离训练实现更强的开放世界泛化能力[1] - 自变量机器人开源端到端具身智能基础模型WALL-OSS 包含完整预训练模型权重、训练代码和部署文档[3] - WALL-OSS采用紧耦合架构与多策略训练 在单一框架内整合指令推理、子目标分解与细粒度动作合成[8] 技术架构创新 - 采用QwenVL2.5-3B作为主干网络 接收视觉与文本输入并生成多模态输出[12] - 训练采用"先离散、后连续、再联合"三阶段pipeline 仅需RTX 4090级别算力即可完成全流程[14] - 通过流匹配方法实现离散到连续动作预测的转换 采用共享注意力+专家分流架构[16] - 实现统一跨层级思维链 覆盖从语义到感觉运动的完整推理链条[18] 性能表现优势 - 在具身视觉问答基准测试中 WALL-OSS在物体定位任务达到91.6%准确率 较基础模型46.1%提升显著[27][28] - 场景描述任务准确率87.6% 较基础模型57.7%提升近30个百分点[27][28] - 在抓取放置任务中 对已知物体指令达到85%平均任务进度 对新物体指令保持61%性能[29] - 在数据稀缺任务中(500条演示) 预训练模型保持90%以上成功率 未预训练模型降至20%以下[31] - 在积木拼写任务中 字母识别准确率达87% 数字识别达95% 显著高于动作专用模型的26%和80%[34] 数据集与训练 - 构建数万小时具身中心多源数据集 包含自收集机器人数据、开源动作数据和多模态视觉问答数据[20] - 数据集涵盖短程操作任务和长程推理任务 需任务分解、进度跟踪和实时决策能力[22] - 采用多模型pipeline进行细粒度步骤标注 辅以人工抽查和质量控制[23] - 按场景/物体/任务/形态分层抽样 对长程任务和稀缺技能采用温度控制重采样策略[24] 行业影响与公司发展 - 端到端系统被业内公认为最终形态 国内外具身团队都在深入研究突破[3] - 自变量机器人成立于2023年12月 聚焦自研通用具身智能大模型[39] - 公司已完成近10亿元A+轮融资 资金将投入全自研通用具身智能基础模型的持续训练[39] - 行业形成本体和大脑两条创业路线 硬件看宇树 大脑看自变量[39]

机器人基础模型发展 - RT-2作为首个机器人VLA模型，通过将机器人控制问题构建为视觉问答任务实现基础功能，基于PaLI-X和PaLM-E预训练模型开发[5][7] - RT-X跨具身数据集整合34个实验室、22种机器人数据，通用模型性能比单一场景专业模型平均提升50%，分布外指令处理能力提升3倍[10][11] - 第二代VLA模型采用连续动作分布设计（如扩散模型/流匹配模型），支持高频率精细控制，动作生成跨度达50个时间步[15][17][19] PI公司技术迭代 - π0模型基于30亿参数Polyglot-LLM开发，集成动作专家模块，输入包含1-3张图像+语言指令，可控制多样化机器人形态[18][19] - π0训练数据集达10,000小时，融合RT-X数据后实现复杂任务微调，如折叠盒子（成功率66%）和衣物（抗干扰恢复能力突出）[21][23][26] - π0.5版本新增分层推理架构，支持长期任务（如卧室清洁），仅3%移动操作数据但实现真实场景迁移应用[28][30][32] 技术融合方向 - 当前VLA模型依赖模仿学习，未来将通过强化学习（RLPD算法）优化任务成功率与鲁棒性，采用稀疏奖励+人工干预机制[35][39][43] - RLDG方法尝试将强化学习专家数据整合至VLA，已实现连接器插入等技能泛化，但端到端训练流程仍需突破[45][46] - 视觉编码器+图像分类奖励机制提升强化学习效率，动态任务如煎蛋翻面、家具组装验证技术互补潜力[42][43]

机器人基础模型发展 - 首个机器人基础模型RT-2基于语言模型开发，通过视觉问答形式实现机器人控制，将电机指令编码为问题答案[7][8] - RT-2基于PaLI-X和PaLM-E预训练视觉语言模型构建，能处理基础语言指令[10] - 跨具身数据集RT-X整合34个实验室数据，覆盖22种机器人类型，通用模型性能比专用模型高50%，分布外指令处理能力提升3倍[12][13] 模型架构迭代 - 第一代VLA模型采用离散Token生成动作，第二代升级为连续动作分布，支持扩散模型生成多步动作片段[19] - 第二代VLA模型π0基于30亿参数Polyglot-LLM开发，增加动作专家模块，输入1-3张图像+语言指令，输出50时间步高维动作[22][24] - π0.5新增分层推理能力，可分解长期任务（如打扫卧室）为子步骤执行，移动操作数据仅占训练集3%但能泛化至新场景[36][38][40] 应用与性能表现 - π0完成复杂任务如折叠盒子（成功率66%）和衣物，具备抗干扰恢复能力[26][29][33] - π0.5在未训练过的真实厨房环境中执行叠毛巾、清洁等任务[41] - 模型组合多任务流程，例如从烘干机取衣→搬运→折叠的全流程操作[34] 未来技术方向 - 当前模型依赖模仿学习，未来将通过强化学习优化任务成功率与鲁棒性[44][45] - 强化学习采用RLPD算法，结合稀疏奖励和人工干预提升效率[49][53] - RLDG方法尝试将专家策略知识蒸馏至VLA，已实现连接器插入等复杂任务泛化[59] - 行业需解决VLA与强化学习的端到端训练流程整合问题[60]

具身智能与VLA模型发展 - 灵初智能发布Psi-R1大模型，声称是真正的VLA模型，能在开放场景下解决长程复杂任务[2] - 2025年以来至少有七家企业发布VLA相关模型，包括Physical Intelligence、英伟达、银河通用等[2] - VLA模型成为机器人厂商展示技术先进性的重要手段，但部分展示视频可能掩盖真实技术能力[7] 机器人进厂打工的挑战 - 人形机器人从实验室到实际工厂应用需经历漫长的概念验证阶段，目前大部分仍处于试用期[2][10] - 概念验证需证明技术成功率、可靠性、效率、成本和收益，是商业化落地的关键障碍[3] - Figure机器人被曝在宝马工厂实际仅有一台执行简单搬运任务，与展示视频存在差距[10] VLA模型的技术难点 - 动作信号输入是VLA模型的核心难点，缺乏动作输入会导致泛化性不足和长线推理偏差[5] - 真正的VLA模型需具备长时序动作执行能力、跟随描述性语言指令并由单一模型完成所有任务[8] - 当前部分VLA模型仅通过模仿学习加原子技能调用完成简单操作，缺乏自主推理能力[7] 机器人落地的工程化流程 - 工厂落地需经历三个阶段：3个月实验室环境内测、3个月客户场景验证、6个月有人陪产部署[12] - 实际工厂环境中存在光线干扰、电磁干扰、流程差异等问题，需针对性优化[12] - 部署阶段需应对人为打断等突发情况，要求上层大脑具备实时推理和决策能力[13] 人形机器人的应用场景选择 - 当前进厂机器人多从事搬运、检测等基础工种，如优必选S1进行物料搬运和车灯检测[14] - 未来目标应是替代人力完成自动化设备无法胜任的精细化工作，如3C制造质检[14] - 客户更关注落地可行性而非技术完美性，需平衡长程推理能力与实时控制要求[15]