研究背景与核心问题 - 视觉-语言-动作（VLA）模型是机器人操控领域的关键范式 能整合视觉感知 语言理解与动作生成 实现复杂物理环境中的任务执行 [2] - 当前主流训练流程为大规模预训练加监督微调（SFT） 但存在数据稀缺性和泛化能力弱两大核心瓶颈 [2][5] - 数据稀缺性体现在SFT需大规模人类操作机器人轨迹数据 采集成本极高且规模受限 严重制约模型扩展性 [5] - 泛化能力弱体现在面对分布偏移如未见过的任务 环境或对象时性能大幅下降 尤其在长时序 组合型任务中表现突出 [5] - 大推理模型领域的突破证明强化学习（RL）仅通过结果奖励就能显著提升逐步推理能力 但VLA应用RL面临独特挑战 [2] SimpleVLA-RL框架设计 - 基于veRL扩展 加入VLA交互式轨迹采样 多环境并行渲染及训练推理渲染一体化设计 解决VLA与环境交互慢 成本高的问题 [6][9] - 采用结果奖励建模 摒弃传统RL复杂的过程奖励 使用二元结果奖励 任务成功则整个轨迹奖励为1 失败则为0 [9] - 通过探索增强策略解决VLA模型探索不足问题 包括动态采样 调整GRPO裁剪范围和提高采样温度 [9][10] - 采用修改后的Group Relative Policy Optimization目标函数 移除KL散度正则项 减少内存消耗并避免限制新行为探索 [9][10] - 动作token化策略选择与PPO类RL算法兼容性最好的动作token分布生成方案 通过随机采样生成多样化轨迹 [9][10] 基准测试性能 - 在LIBERO基准测试中 平均成功率从91.0%提升至99.1% 其中长时序任务LIBERO-Long提升12.0个百分点（86.5%→98.5%） [12][13] - 在RoboTwin1.0基准测试中 四个任务平均成功率从39.8%提升至70.4% 其中Blocks Stack任务提升33.1个百分点（7.1%→40.2%） [13] - 在RoboTwin2.0基准测试中 覆盖短中长超长时序12个任务 平均成功率从38.3%提升至68.8% 超越π₀（49.2%）和RDT（33.3%） [14][15] - 即使是需多轮交互的超长时序任务如Put Bottles Dustbin 也提升18.7个百分点 [14][15] 数据效率 - 在单轨迹SFT场景下 LIBERO平均成功率从48.9%提升至96.9% 长时序任务LIBERO-Long从17.3%提升至91.7% [16][17] - 与全轨迹SFT加RL（99.1%）的差距仅2.2个百分点 证明RL可大幅降低对大规模演示数据的依赖 [16][17] 泛化能力 - 在LIBERO的9个已见任务训练加1个未见任务测试实验中 SimpleVLA-RL所有未见任务成功率均提升 [18][22] - LIBERO-Object的Unseen Task 2提升36.5个百分点 LIBERO-Spatial的Unseen Task 1从43.3%提升至71.8% [22] - 证明RL能学习通用技能而非过拟合特定数据 避免SFT的灾难性遗忘问题 [18][22] 真实世界部署 - 仅用仿真数据训练 真实世界机械臂任务平均成功率从17.5%提升至38.5% [7][23] - Stack Bowls任务提升32个百分点（38.0%→70.0%） Pick Bottle任务实现14%成功率 [23] - 验证了高效的Sim-to-Real迁移能力和真实部署能力 [7][23] Pushcut现象与失败模式 - 在RoboTwin2.0任务中 RL训练使模型自主探索出推等超越人类演示的新策略 被定义为Pushcut现象 [8][24] - 结果奖励允许模型探索所有能完成任务的路径 而非局限于人类演示的单一方式 [24] - SimpleVLA-RL的有效性依赖初始模型能力 初始成功率需在阈值以上 RL才能通过探索进一步优化性能 [27][28][29] - 初始成功率为0时即使施加RL性能仍维持0 初始成功率较低时提升有限 初始成功率较高时提升显著 [28][29] 研究结论 - 降低对大规模演示数据的依赖 提升数据效率 [30][32] - 增强模型在分布偏移场景下的泛化能力 [30][32] - 实现高效的Sim-to-Real迁移 提升真实世界任务性能 [30][32] - Pushcut现象证明RL能让VLA模型超越人类演示的局限 探索更优策略 [8][24][32]

自进化智能体综述核心观点 - 大语言模型本质上是静态的 无法在面对新任务 不断进化的知识领域或动态交互环境时调整其内部参数 这已成为开放交互式环境部署的关键瓶颈[2][3] - 自进化智能体代表人工智能领域的范式转变 从扩展静态模型转向开发能够从数据 交互和经验中持续学习与适应的系统 这是通往人工超级智能(ASI)的关键路径[3][4] - 综述首次系统性地围绕三个基础维度组织该领域：进化对象(what) 进化时机(when)和进化机制(how) 为理解与设计自进化智能体提供结构化框架[3][6] 进化对象(What to Evolve) - 智能体系统可分解为四个基本进化支柱：模型(推理和行为参数) 上下文(指令和长期记忆) 工具集(外部技能创建和管理) 以及架构(系统协作结构)[19] - 进化机制涵盖策略 经验 提示 记忆 工具创建与掌握 架构选择等多个维度 不同方法在各维度有不同侧重 例如Mem0在7个维度均有进化 MAS-Zero侧重模型和经验进化[20] 进化时机(When to Evolve) - 按时间阶段分为测试时内自进化(任务执行期间实时适应)和测试时外自进化(任务完成间利用积累经验提升未来表现)[22] - 测试时内进化具有在线性 学习数据动态产生且直接针对当前问题 测试时外进化具有回顾性 作用于历史数据旨在提高任务分布预期性能[23] - 进化依赖三种基本学习范式：上下文学习(ICL) 监督微调(SFT)和强化学习(RL) 在不同时间背景下数据可用性和学习目标存在差异[23] 进化机制(How to Evolve) - 主要方法家族包括基于奖励的进化(标量奖励 自然语言反馈 外部信号) 模仿与示范学习(高质量范例学习) 以及基于群体和进化的方法(选择 变异 交叉等机制)[27] - 不同方法在反馈类型 数据源 奖励粒度 样本效率 稳定性和可扩展性等方面存在显著差异 例如基于奖励的方法对奖励设计敏感 模仿学习受示范质量影响大 群体方法资源密集但可扩展性好[29] 应用场景(Where to Evolve) - 应用系统分为通用领域进化(数字领域各种任务能力扩展)和专用领域进化(特定领域专业知识深化) 前者侧重经验迁移 后者侧重领域深化[31] - 关键应用领域包括自主软件工程 个性化教育 医疗保健和智能虚拟助手等 持续适应和进化在这些领域至关重要[10][38] 评估体系(Evaluation) - 评估需超越传统静态系统 涵盖随时间推移的适应能力 知识积累与保留 长期泛化能力以及技能迁移 同时减轻灾难性遗忘[34] - 现有基准如ScienceAgentBench(102任务) SWE-bench(2,294任务) WebShop(12,087任务)等 在任务领域 核心指标和时空范围上各有侧重[36] - 个性化评估需开发更轻量级 适应性指标和动态基准 传统ROUGE和BLEU等指标无法充分捕捉动态进化特性[39] 技术挑战与研究方向 - 泛化能力面临专业化与广泛适应性矛盾 需可扩展架构设计 跨领域适应技术(测试时扩展 推理时适应)以及持续学习与灾难性遗忘解决方案[40][42] - 安全与可控性需应对用户相关风险和环境风险 通过智能体宪法 安全训练算法和隐私保护措施实现平衡部署[43][44] - 多智能体生态系统需平衡个体与集体推理 开发高效算法和自适应框架 并建立动态评估基准反映持续适应和演变交互[45]

腾讯TiG框架技术突破 - 提出Think-In-Games框架 将大语言模型直接应用于《王者荣耀》训练 实现实时游戏盘面理解与人类级别操作[1] - 仅14B参数的Qwen-3-14B模型通过TiG框架达到90.91%动作精准度 超越671B参数的Deepseek-R1模型[2] - 将强化学习决策重新定义为语言建模任务 通过语言指导策略生成与环境反馈迭代优化[3] 技术实现原理 - 大语言模型在游戏中直接行动并解释原因 弥合传统LLM只知原理与RL只知行动的鸿沟[4][5] - 主要学习人类玩家宏观层面推理能力 包括长期目标制定 团队协同策略 地图施压控制等[6] - 将决策转化为文本 通过JSON读取游戏状态 从固定菜单选择宏操作并解释原因[7] 训练方法与数据构建 - 采用多阶段训练结合监督微调与强化学习 使用GRPO算法最大化生成内容优势[12][9] - 从真实对局采样构建数据集 通过重新标注算法确保每个状态带有宏观动作标签[9] - 基于二元规则奖励机制 预测操作与人类玩法匹配时奖励为1 否则为0[11] 模型性能表现 - Qwen-2.5-32B应用GRPO后准确率从66.67%提升至86.84%[14][15] - Qwen2.5-14B经SFT+GRPO训练后准确率从53.25%提升至83.12%[14][15] - 最佳表现组合为Qwen-3-14B+SFT+GRPO(2000步) 达到90.91%准确率[2][15] 应用场景特征 - 模型扮演战略决策角色而非操作执行 类似金牌教练而非职业选手[6][7] - 具体案例显示模型能全面评估游戏状态 分析优先目标 制定策略并输出指令[8][9] - 在数据量和计算需求显著降低情况下取得与传统RL方法竞争性性能[17]

点击按钮预约直播 点击下方 卡片 ，关注" 具身智能 之心 "公众号 >>直播和内容获取转到 → 具身智能之心知识星球 通用具身智能的发展长期受限于一个核心难题："视觉到行动的鸿沟"（seeing-to-doing gap）。这一鸿沟源于两大挑战： （a） 数据稀缺 ，有限的机器人数据难以将语言和视觉与物理动作充分关联； （b） 形态异构 ，多样的机器人形态阻碍了知识的有效迁移。 尽管现有的视觉-语言-动作（VLA）模型在模仿专家演示方面表现出色，但在新环境中，其性能往往会急剧下降。无论是端到端模型存在的知识遗忘问题，还是 模块化模型易于出现级联故障的弊端，都未能有效解决这一根本性问题。如何让机器人真正"理解"它所看到的，并将其转化为精准的物理操作，是推动通用机器 人发展的关键。 在机器人研究中，如何让"看到的"顺利转化为"做到的"，一直是一个难题。虽然近年来的视觉语言模型（VLM）和视觉语言动作模型（VLA）大幅提升了机器人 理解场景与指令的能力，但当机器人真正要操作物体时，性能常常大打折扣。VLM本身具有强大的环境感知和视觉理解能力，但基于VLM进行继续训练的端到 端VLA却几乎完全失去了零样本的操作能力 ...

核心观点 - 强化学习（RL）相比监督微调（SFT）能显著提升大语言模型的泛化能力，尤其在跨领域任务迁移中表现更优 [5][6][14] - 数学推理能力的提升可正向迁移至其他理科领域，验证了RL训练对机器智能发展的关键作用 [7][15] - SFT训练会导致模型在非推理任务上出现负向迁移（TI_non达113.7），而RL模型保持稳定（TI_non仅36.9） [7][12] 训练方法对比 - **模仿学习（SFT）**：依赖高质量数据集直接复制解题过程，但导致模型输出冗长（3000+重复token）且破坏原有知识结构（158-390个无关token变化） [6][13][16] - **强化学习（RL）**：仅提供最终答案奖励，模型自主探索解题路径，保持表示空间稳定（仅14-15个任务相关token变化） [10][11][16] 实验设计 - 使用相同基础模型（Qwen3-14B-Base）和数学数据集（47K问题）对比RL与SFT效果 [11] - 可迁移指数量化显示：RL模型在数学/其他推理/非推理任务的TI分别为8.5/3.5/36.9，显著优于SFT模型（21.4/10.9/113.7） [8][12] - PCA分析证实RL模型的表示漂移距离最小，知识结构保留度最佳 [10] 案例表现 - 数学问题求解：RL模型直接建立方程（简洁），SFT模型产生大量冗余检查步骤 [13] - 非推理任务：RL模型高效完成辞职邮件，SFT模型陷入过度思考循环 [13] 行业意义 - 研究为Grok 4等新一代RL训练范式提供了理论支撑，证明探索式学习更接近人类智能发展路径 [1][14][15] - 数学能力作为基础学科的迁移效应，验证了跨领域知识转移对AI系统的重要性 [7][15]

医疗AI模型优化 - 通用大语言模型在医疗临床场景中表现欠佳，可能给出不准确或错误建议[1] - 监督微调(SFT)是解决医疗AI模型专业性的关键方案，但需要高质量数据集和迭代优化过程[1] - 豆蔻妇科大模型通过SFT优化，准确率从77.1%提升至90.2%[3] 数据集构建与质量控制 - 数据清理重点关注推理与结果一致性，剔除逻辑链条不完整或违背医学原理的数据[2] - 数据蒸馏校准确保思维链(COT)数据质量，诊断优先级需有明确医学依据支撑[5] - 数据集需覆盖全生命周期病例和常见病与罕见病比例，避免诊断偏好[6] 模型训练优化过程 - 第一阶段(2025年4月)使用1300条精标中文妇科问诊数据，构建基础模型[3] - 第二阶段(2025年6月)通过合成症状数据、重新蒸馏标注COT等优化策略提升性能[3] - 采用"训练-评测-筛选-再训练"循环，持续监控关键指标如测试集准确率和罕见病例识别率[10] 评估体系 - 构建自动化评测和人工审核双重评估体系，采用10分制标准评分[11] - 自动化评测系统基于高性能语言模型，支持批量处理和标准化评分框架[11] - 医生修正反馈机制对边缘案例进行人工审核，形成闭环迭代优化[13] 训练平台与技术 - 使用钉钉企业专属AI平台进行训练调优，覆盖SFT/RFT两种训练方法[17] - 平台提供分布式训练、多Lora部署等加速优化手段，训练时长从26小时缩短至7小时[17] - 未来将探索SFT+RL协同训练范式，结合结构化医学知识和临床直觉[18] 经验与挑战 - 初期过度依赖人工标注导致效率低下，后期调整为"机器蒸馏→专家审核→训练后评估"体系[14] - 训练数据集过度集中常见病导致罕见病识别不足，采用平衡采样策略改进[15] - 医疗大模型需具备多维思考模式，在低容错率环境下提供专业诊断建议[16]

数学能力与模型迁移性研究 - 核心观点：数学能力强的模型不一定能将技能迁移到其他领域，强化学习(RL)训练的模型展现出显著优于监督微调(SFT)的跨任务迁移能力[1][4][19] - 数学能力与通用智能的关系：传统认知认为数学能力强的模型更智能，但最新研究表明这并非绝对[2][3] - 研究方法：评估20+模型在数学推理、其他推理(医学推理、智能体规划)和非推理任务(常识对话、指令遵循)的表现[7] - 关键指标：提出迁移能力指标(TI)，量化数学能力提升对其他任务的迁移效果(TI>0为正迁移，TI<0为负迁移)[8][9] - 实验结果：RL微调模型在数学任务平均得分达53.8，较基线提升4.1，且在其他推理任务TI达+79.6，非推理任务TI+29.3；SFT模型在非推理任务出现显著负迁移(TI最低-250.2)[10][11] - 机制分析：RL模型PCA偏移最小，KL散度更低(平均降低24.0)，token排名偏移更小，说明其能保持原有知识同时增强特定领域能力[15][16][17][18] - 行业启示：强化学习是实现可迁移推理发展的关键技术路径，对AI产品开发具有重要指导意义[19]

核心观点 - 提出单阶段监督-强化微调方法SRFT，通过基于熵的动态加权机制将监督微调(SFT)和强化学习(RL)结合，提升大语言模型(LLM)推理性能[1][3] - SRFT在5项数学推理任务中实现59.1%平均准确率，较zero-RL基线提升9.0%，在分布外任务上平均准确率达62.5%，提升10.9%[4][47] - 相比传统两阶段SFT→RL方法，SRFT训练效率提升2.28倍，实现更稳定的收敛和更优的泛化能力[21][48] 方法设计 - 采用熵感知自适应权重机制动态平衡SFT和RL的贡献：高熵时降低SFT权重防止专家数据过度干扰，高熵时增加RL正样本权重促进熵稳定[29][44] - 双重策略设计：SFT组件实现粗粒度行为策略逼近，异策略RL组件利用演示数据进行细粒度优化[23][24][26] - 统一损失函数集成四个组件：演示数据SFT损失、演示数据RL损失、自探索正样本目标、自探索负样本目标[39][41] 性能对比 - 在AIME24等5个数学基准上，SRFT以59.5%平均准确率超越SFT(54.3%)和最佳zero-RL方法(50.1%)[43] - 在ARC-C等3个非数学基准上，SRFT以62.5%平均分领先SFT→RL(54.6%)和LUFFY(57.8%)等组合方法[43][47] - 响应长度分析显示SRFT能生成更详细的推理过程，而纯RL倾向于简洁输出[48] 训练动态 - 可视化显示SFT使模型概率空间移动最远，RL需将其拉回最优区域，而SRFT路径更直接高效[15] - 熵变化曲线表明SRFT维持更稳定的熵水平，避免RL导致的过早收敛，保留探索能力[20][48] - 重要性采样和分布不匹配缓解策略确保演示数据与当前策略的协同优化[31][32] 技术突破 - 首次实现单阶段协同学习：同步利用专家演示数据和模型自探索试错数据，解决知识遗忘问题[3][23] - 理论揭示SFT通过全局调整token分布(50%以上token受影响)类似"大锤"，RL仅针对性调整2%token类似"手术刀"[9][10] - 提出新型训练轨迹可视化方法，以teacher forcing距离量化模型在概率空间的移动[14]

核心观点 - 研究发现监督微调（SFT）在多模态推理中可能阻碍学习，导致伪推理路径，而强化学习（RL）则促进真正的多模态推理 [3][9] - 传统两阶段训练范式（SFT+RL）在视觉语言模型（LVLM）中可能导致性能下降，7B模型相对性能下降47% [11][13] - 纯RL训练方案更具优势，VLAA-Thinker-Qwen2.5VL-3B模型在Open LMM推理榜单4B量级模型中位列第一，以1.8%优势刷新纪录 [15] 数据集构建 - 研究者构建了首个支持SFT与RL的全方位高质量图文推理数据集VLAA-Thinking，包含203,182条原始数据和144,895条处理后的数据 [4][5] - 数据集包含基于R1模型"先思考后回答"范式生成的完整推理链条，SFT分支包含多模态思维链样本，RL分支筛选更具挑战性的样本 [5] - 数据处理流程分为六阶段：元数据收集→图像描述生成→基于R1的知识蒸馏→答案重写→人工验证→数据划分 [6] SFT与RL对比研究 - SFT提高了模型在标准任务中的性能，但在增强复杂推理方面能力欠缺，可能诱发"伪推理路径"和"伪aha moment" [9] - 对已对齐模型使用SFT+GRPO会导致平均12.7%的性能下降，且模型规模差异影响甚微 [13] - SFT虽可帮助未对齐模型遵循指令，但其模仿式推理会限制RL阶段的探索空间 [15] GRPO训练优势 - 强化学习在增强推理能力方面表现出色，GRPO在文本数学推理任务中比其他方法更有效、更高效 [17] - 研究者提出了混合奖励框架，包含五种可验证的奖励类型，涵盖视觉感知和视觉推理任务 [19] - 直接使用GRPO训练的模型在视觉语言推理任务中显著优于其基础模型 [31] SFT对GRPO的影响 - SFT与多模态推理中的GRPO不兼容，在GRPO训练前进行SFT的模型性能比仅使用GRPO训练的模型更差，平均下降8.9% [21] - SFT对指令模型的性能损害比对没有指令跟随能力的基础模型更大，Qwen2VL-Inst性能比Qwen2VL-Base下降7.7% [21] - 较小的SFT数据集仍然会影响GRPO的性能 [23] 模型性能分析 - 响应长度、奖励分数与性能表现无显著相关性，SFT模型虽能获得更高初始奖励和更长响应，但实际表现逊于纯RL训练模型 [15][24] - SFT仅提供了RL训练的一个更高的"下限"，但可能会降低"上限"，限制了模型的探索路径 [26] - 经过更好指令调优的模型在GRPO训练后表现更佳，说明高质量的指令调优能够增强模型在强化学习后的推理能力 [31]

多模态大模型技术突破 - OThink-MR1技术通过动态强化学习框架显著提升多模态语言模型的泛化推理能力，突破传统方法的局限性[1][7][29] - 传统监督微调(SFT)方法在特定任务表现良好但缺乏通用推理能力，而强化学习(RL)存在训练约束导致次优瓶颈的问题[4][5] 核心技术机制 - 动态KL散度策略(GRPO-D)动态调整探索与利用的平衡，避免模型陷入局部最优解[8][10][11][12] - 双奖励模型设计包含验证准确性奖励和格式奖励，通过多维度反馈提升模型学习效率[13][14][15] 实验验证结果 - 同任务评估中GRPO-D表现超越监督微调方法，在视觉计数和几何推理任务成绩提升显著[17][18][28] - 跨任务评估显示GRPO-D模型在完全不同的任务类型间展现强泛化能力，成绩较未训练模型大幅提高[21][22][23][24] - 格式奖励权重非零时模型表现更优，KL散度权重需适中调节以取得最佳效果[17][18] 行业影响 - 该技术为多模态语言模型发展开辟新路径，展现动态强化学习在提升推理与泛化能力方面的潜力[29] - 技术由OPPO研究院与香港科技大学(广州)联合研发，论文已公开发表于arXiv平台[30]