腾讯TiG框架技术突破 - 提出Think-In-Games框架 将大语言模型直接应用于《王者荣耀》训练 实现实时游戏盘面理解与人类级别操作[1] - 仅14B参数的Qwen-3-14B模型通过TiG框架达到90.91%动作精准度 超越671B参数的Deepseek-R1模型[2] - 将强化学习决策重新定义为语言建模任务 通过语言指导策略生成与环境反馈迭代优化[3] 技术实现原理 - 大语言模型在游戏中直接行动并解释原因 弥合传统LLM只知原理与RL只知行动的鸿沟[4][5] - 主要学习人类玩家宏观层面推理能力 包括长期目标制定 团队协同策略 地图施压控制等[6] - 将决策转化为文本 通过JSON读取游戏状态 从固定菜单选择宏操作并解释原因[7] 训练方法与数据构建 - 采用多阶段训练结合监督微调与强化学习 使用GRPO算法最大化生成内容优势[12][9] - 从真实对局采样构建数据集 通过重新标注算法确保每个状态带有宏观动作标签[9] - 基于二元规则奖励机制 预测操作与人类玩法匹配时奖励为1 否则为0[11] 模型性能表现 - Qwen-2.5-32B应用GRPO后准确率从66.67%提升至86.84%[14][15] - Qwen2.5-14B经SFT+GRPO训练后准确率从53.25%提升至83.12%[14][15] - 最佳表现组合为Qwen-3-14B+SFT+GRPO(2000步) 达到90.91%准确率[2][15] 应用场景特征 - 模型扮演战略决策角色而非操作执行 类似金牌教练而非职业选手[6][7] - 具体案例显示模型能全面评估游戏状态 分析优先目标 制定策略并输出指令[8][9] - 在数据量和计算需求显著降低情况下取得与传统RL方法竞争性性能[17]

研究背景与方法 - 研究由清华大学、上海人工智能实验室、上海交通大学等机构联合完成，聚焦于利用大语言模型内部世界知识提升搜索智能体训练效率 [2][6] - 提出SSRL方法，通过结构化提示和格式奖励有效提取模型世界知识，降低幻觉并在多个基准测试中取得更好效果 [2][6][8] - 探索训练智能体无需真实环境参与的可能性，并验证接入真实搜索引擎后SSRL训练的模型表现更优，体现Sim2Real有效性 [2][8] 当前搜索智能体训练挑战 - 全真实搜索方式直接调用商业搜索引擎API或RAG本地知识库，成本高昂且与真实场景存在差距 [7][13] - 半真实搜索使用辅助LLM模拟搜索引擎行为，但训练效率低下且不稳定 [7][13] - 当前训练方式非常昂贵、耗时且不稳定，多轮工具调用导致rollout效率降低，外部信息引入易导致模型崩溃 [7][13] LLM利用世界知识的上限 - 通过formatted instruction显式利用模型内部知识，在大量模型上采样显示仅依赖内部知识即可在所有基准测试中获得明显效果提升 [10][12] - Llama-3.1-8B-Instruct在Bamboogle上pass@64达到76%正确率，在BrowseComp上pass@256达到10%正确率 [12] - 发现Llama系列在该类任务上效果远超Qwen系列，与数学领域结论相反 [12] - Majority Voting方法无法逼近模型能力上限，增加采样数量时效果不会进一步提升 [15] SSRL训练优化与设计 - 训练目标函数优化为标准GRPO目标，通过信息掩码强制模型基于查询和推理生成答案而非简单复制 [22][23] - 采用复合奖励函数结合格式奖励和结果奖励，防止奖励黑客并确保奖励有效性 [24] - 训练后模型表现优于依赖外部引擎训练的模型，训练效率提升约5.6倍且训练奖励持续增长未出现崩溃现象 [31] 实验结果 - 在Llama和Qwen2.5系列模型上训练，SSRL方法在多项基准测试中取得更好效果 [25][26] - Llama-3.2-3B-Instruct模型在HotpotQA上达到43.8%准确率，在NQ上达到58.4%，在Bamboogle上达到38.4% [26] - Llama-3.1-8B-Instruct模型在HotpotQA上达到48.0%准确率，在NQ上达到62.6%，在Bamboogle上达到54.4% [26] Sim2Real泛化 - 将前K个自搜索知识替换为在线搜索结果，发现SSRL训练模型在真实场景下表现更优 [28][29] - Llama-3.2-3B-Instruct模型在Sim2Real设置下准确率提升至41.9%，Qwen2.5-7B-Instruct提升至47.9% [33] - 随着K增加效果不会持续增长，显示模型内部知识具有高度压缩性和灵活性 [32] 熵引导搜索 - 提出熵引导搜索方法，根据模型不确定性动态选择使用内部知识或外部工具 [34] - 搜索次数减少20%-42%的同时保持可比性能，Llama-3.1-8B-Instruct模型准确率提升至41.7% [36] SSRL与TTRL结合 - SSRL与TTRL结合可获得显著效果提升，Llama-3.2-3B-Instruct模型在多项测试中准确率提升最高达67% [38][39] - 在BrowseComp任务上，Llama-3.2-3B-Instruct模型达到6.2%准确率 [40] - 但TTRL易导致模型过于自信和训练崩溃问题 [39]

**行业与公司** * 行业：A股市场、量化投资、资产配置 * 公司：中金公司（量化团队）[1][2][5][8][10] **核心观点与论据** * 风格配置：9月继续推荐小盘成长风格，因市场状态、情绪端和宏观环境维度均支持其占优；8月小盘成长绝对收益16.86%[2] * 资产配置：相对看好国内股票（存在底部支撑信号），商品中性，债券谨慎[3][4] * 行业轮动：9月推荐综合金融、传媒、计算机、银行、基础化工、房地产；8月行业组合涨幅2.4%，YTD超额收益11.5个百分点[5] * 策略表现： - "成长趋势共振"策略8月收益率18.1%，连续6个月跑赢偏股混合型基金指数[7] - 小盘掘金类策略YTD收益超50个百分点，但8月表现一般（低关注度掘金7.8%、次新股掘金7.0%）[8] - XG Boost成长优选策略YTD收益率47.1%，8月收益率13.5%[8] * 模型创新： - Attention GRU周频选股策略全市场YTD跑赢基准11.7个百分点[10] - 深度学习周频选股策略全市场YTD跑赢基准43.4个百分点[10] **其他重要内容** * 风险提示：若权重股行情持续极端化，小盘策略可能阶段性失效[6][9] * 择时工具：大盘择时隐含波动率曲面情绪指标自8月1日持续看多后市[10] * 策略逻辑：行业轮动模型基于价量因子（流动性、动量、调研信息）[5]，选股策略注重估值性价比和资金拥挤度[6]

端到端自动驾驶算法研究背景 - 传统自动驾驶算法采用模块化流程：感知模块输入图像或激光雷达数据输出边界框，预测模块输出轨迹，最后进行规划[5][6] - 端到端算法直接输入原始传感器数据并输出路径点，路径点可转换为控制信号且回归相对容易[6] - 传统算法优点包括易于调试和问题定位，具有可解释性，但存在误差累积问题，无法保证感知和预测模块完全无误差[7][10] 端到端算法现有范式与局限性 - 模仿学习分为行为克隆和逆优化控制，强化学习方法在论文中较少见[11] - 评估方法分为开环评估（使用固定场景数据）和闭环评估（自车与环境存在交互）[11] - 模仿学习难以有效解决所有corner case问题，真值数据本身存在噪声，人类驾驶数据并非完全最优解[11] - 当前挑战包括可解释性问题、安全保证以及因果混淆现象，例如绿灯起步时误将旁边车道车辆起步作为启动信号[12] - 还需解决输入模态多样性、多任务学习及知识蒸馏等技术难题[12] ST-P3算法框架与创新 - 输入为环视相机图像，设计三个核心模块：感知、预测和规划，最终输出自动驾驶车辆轨迹[14] - 感知模块采用以自车为中心的累积对齐技术，预测模块通过双路预测机制实现，规划模块引入先验信息对生成轨迹进行优化[15] - 感知模块中结合预测的深度信息，采用类似LSS范式的方法得到BEV空间表示，创新点在于考虑RO角和PG角不为零的情况[18] - 预测模块采用双路结构，一路通过GRU进行递归处理，另一路引入高斯噪声进行前向迭代，两路输出融合得到T+10、T+20时刻状态特征[18] - 规划阶段利用前视相机获取红绿灯信息，并对预测轨迹进行优化，优化过程包括自车预测轨迹的代价函数和预测轨迹与真实轨迹之间的L2距离[19][20] UniAD算法框架与创新 - 采用全Transformer框架，以规划为导向构建端到端自动驾驶系统[25] - 引入五个代理任务（Head Task）通过增加任务数量提升性能，创新点在于规划导向设计[24] - Backbone部分与BVFormer相同获取BEV特征，MapFormer将Segformer的2D版本扩展至3D用于实例分割[26] - MotionFormer通过三种交互进行预测：Agent之间交互、Agent与地图交互、Agent与目标点交互，输出预测轨迹、特征及每条轨迹评分[26] - OccFormer利用MotionFormer的Agent级特征作为KV，BEV特征作为Q，计算实例级占用情况[26] - Planner输入包括自车运动轨迹特征、位置编码、OccFormer输出以及BEV特征，规划时需考虑未来占用情况确保选择可行区域[26] VAD算法矢量表征与约束 - 采用矢量化表征方法，将栅格化表征转换为矢量化形式，更好表达地图元素结构信息保持几何特性[32] - 矢量表征包含运动矢量（motion vector）和地图矢量（map vector），通过地图查询经地图变换器处理后预测地图矢量，通过智能体查询预测运动矢量[32][33] - 规划过程中引入三个主要约束：自车与他车之间碰撞约束（涉及横向和纵向距离）、自车与边界之间距离约束、自车方向约束（通过计算自车向量与车道线向量角度差确保行驶方向正确）[40] 概率化规划方法 - 规划是不确定性任务，确定性方法无法处理掉头等情况，概率化表征方法将规划流视为概率分布从而选择最优轨迹[43] - 实现借鉴类似GPT的ARP思想：初始化动作空间并离散化，规划词汇表收集4096种可能动作（如直行、加速、刹车、左转、右转等），编码后生成planning token[43] - 通过场景token与planning token交互，结合自车状态和导航信息，预测动作分布并选择概率最高的标准轨迹作为规划结果[44] GenAD生成式建模方法 - 将自动驾驶建模为轨迹生成问题，考虑自车与他车在未来帧中的交互，采用类似VAE的生成式建模思路[44] - 训练时学习轨迹分布，推理时采样分布并通过解码器生成路径点，关键点在于训练过程中构建有效的监督信号[44][45] - 训练阶段将GT的track query trajectory通过编码器编码得到latent space轨迹表征，通过解码器重构当前轨迹并与原始真值轨迹进行监督训练[45] 多模态规划与监督学习 - 引入多模态规划方法解决轨迹预测不稳定性问题，通过预测多个候选轨迹并选择最优轨迹进行模型学习[53] - 结合多模态规划与多模型学习方法，在多轨迹预测的模型学习损失基础上增加知识蒸馏损失，蒸馏损失来源于多种基于规则的教师模型[53] - 额外监督信号包括无责任碰撞、可行驶区域合规性、驾驶舒适性等指标，均纳入回归损失函数进行反向传播[56] 端到端算法当前局限性 - 主要采用模仿学习框架，作为纯数据驱动方法优化过程较为困难[57] - 难以学习到最优真值（Ground Truth），对异常案例（Counter Case）的处理能力有限[57]

AI核心概念与学习方法 - 人工智能通过机器学习从数据中自行学习规律而非依赖预设规则 核心方法包括有监督学习(使用标记数据训练模型) 无监督学习(从未标记数据中发现模式)和强化学习(通过试错和奖励机制优化行为策略) [9][12] - 2012年Google通过无监督学习使神经网络在观看海量YouTube视频后自发识别"猫"的概念 成为深度学习里程碑事件 [11] - AlphaGo击败人类棋手和ChatGPT的崛起标志着AI技术进入爆发期 深度学习依赖算力(GPU) 数据(互联网)和算法三要素共同推动 [6][69] AI技术基础能力 - 数学是AI底层逻辑的核心 线性代数处理向量与矩阵 概率统计管理不确定性 微积分通过梯度下降优化模型参数 [13] - Python是AI开发首选语言 拥有简洁语法和强大生态圈 关键工具库包括NumPy/Pandas(数据处理) Scikit-learn(机器学习) TensorFlow/PyTorch(深度学习) [19][21] - 其他编程语言各有侧重 R语言擅长统计分析 C++适用于高性能计算 Java用于企业级系统开发 [23] 实践与学习路径 - 学习过程需结合理论深度(数学) 工具掌握(编程)和实践高度(项目) 建议通过Kaggle竞赛 GitHub开源项目和复现论文等方式积累经验 [28][47][53] - 建议建立持续学习机制 关注顶级学术会议(NeurIPS/CVPR/ICML) 筛选高质量信息源 避免被技术营销内容干扰 [24][25] - 初学者可从微项目入门 如用Pandas分析天气数据 用Scikit-learn预测泰坦尼克号幸存者 逐步构建可交互的Demo展示能力 [50][51][53] AI应用领域与职业方向 - 核心职业路径包括机器学习工程师(算法落地) 数据科学家(数据洞察) 算法研究员(前沿探索) 具体职位衍生出算法工程师 AIGC工程师等细分方向 [38][40] - AI与垂直领域结合创造新价值 包括艺术设计(生成式AI创作) 金融商业(量化交易/风控) 医疗健康(新药研发/影像分析) 材料科学(分子模拟)等领域 [42][43] - AI技能将成为通识能力 未来差距体现在顶尖人才(创造AI)与普通劳动者(使用AI)之间 需注重培养解决问题能力和人机协同思维 [37][45][55] AI发展历程 - 1956年达特茅斯会议正式提出人工智能概念 早期发展形成符号主义(逻辑推理) 联结主义(模式识别) 行为主义(环境交互)三大流派 [58][64] - 经历两次AI寒冬后 统计机器学习崛起 2012年AlexNet在ImageNet竞赛中以压倒性优势夺冠 标志着深度学习时代的开启 [66][67] - 现代AI正融合三大流派优势 追求兼具学习能力 逻辑推理和行动能力的综合智能体系 [65]

大语言模型后训练强化学习技术演进 - 大语言模型后训练过程通过强化学习优化模型输出内容符合任务偏好 预训练使模型掌握通用语言能力 但后训练强化特定领域知识和应用能力 增强模型适应性和灵活性[5] - 强化学习核心是反馈机制 目标是增加好结果出现概率 降低坏结果出现概率 在大模型训练中采用人类反馈方式[5][8][9] PPO强化学习算法 - PPO采用近端策略优化机制 加入Critic价值函数和CLIP操作 保证策略更新不过度同时高效提升性能 成为强化学习领域标准方法之一[11] - PPO损失函数包含Critic价值函数评估相对进步程度 显著降低训练过程方差 同时采用Clip策略限制新策略相对于旧策略动作概率变化幅度 避免模型更新幅度过大[11][13] GRPO算法创新 - GRPO去除PPO中Critic价值函数 采用策略模型多次输出采样奖励平均值作为基准线 超过平均值视为正向Advantage 低于为负向Advantage 大幅降低内存需求和计算成本[14][16] - GRPO内存需求为基础模型0.5倍 训练速度比PPO快3-5倍 采用单策略网络架构 优势估计采用统计型群体投票方式[18] - GRPO存在严重稳定性问题 容易导致训练崩溃 需要大量数据降低策略梯度方差 中小规模训练中稳定性缺陷致命[18][19] DAPO算法改进 - DAPO在GRPO框架内进行工程改进 让Qwen2.5-32B模型在AIME 2024基准获得50分 优于同等规模DeepSeek模型 训练步数少50%[20] - 采用Clip-Higher机制将剪辑上下限解耦为ε_low和ε_high 增加ε_high值为低概率token留出更多空间 提升训练早期熵[21] - 实施动态采样过滤奖励为1和0的提示语 保留有效梯度样本 提高训练效率 采用Token级策略梯度损失保证长序列所有token公平贡献batch loss[21][22] GSPO范式突破 - GSPO将重要性采样从token级提升到序列级 基于整个序列似然度计算重要性比值 显著降低长序列中积累的高方差 提高训练稳定性[25][29][31] - 序列级重要性采样进行长度归一化 避免importance ratio对长度敏感造成不稳定 同一序列所有token共用同一重要性权重 裁剪时作用于整个回答而非部分token[31] - GSPO损失函数采用序列级重要性权重和clip操作 成为Qwen3强化学习核心实践框架 可能成为未来后训练强化学习新标准[25][31] GFPO多属性优化 - GFPO解决GRPO依赖单一标量奖励信号问题 可同时优化多个响应属性如简洁性和准确度 避免模型响应长度大幅增加[33] - 采用显式过滤机制为每个问题采样更大候选响应组 过滤不符合目标属性响应 在所选组内使用标准奖励计算相对优势 无需复杂奖励工程[33][34] - GFPO主要干预Advantage估计层面 可与任何GRPO类似方法兼容 包括DAPO或带有Dual-Clip PPO损失的GRPO[35] GRPO其他缺陷 - GRPO存在奖励歧义性问题 多个奖励信号被合并为单一标量信号 模型无法知道具体因什么行为被奖励 即使调整不同奖励组件权重仍只能看到总奖励[39][41] - 在推理任务中 GRPO丢弃所有中间文本反馈 仅使用数值化奖励信号 文字反馈对模型有帮助但完全无法利用[43] - 多轮推理任务中每轮反馈重新输入到基础模型prompt 导致指数级分支 使GRPO在多轮任务训练变得非常困难[44]

文章核心观点 - 清华大学、北京中关村学院和无问芯穹联合推出面向具身智能的大规模强化学习框架RLinf 该框架通过创新的混合式执行模式、统一编程接口和自适应通信机制 在具身智能训练场景下实现系统提速超120% 模型性能提升40%-60% 同时支持数学推理大模型训练并取得SOTA性能[5][7][9][24][29] 技术架构设计 - 系统采用六层级抽象架构 包括用户层、任务层、执行层、调度层、通信层和硬件层 支持混合式执行模式[7] - 提出宏工作流到微执行流映射机制(M2Flow) 实现过程式编程灵活性与声明式编程优化能力的结合[14] - 支持三种执行模式：共享式(组件常驻或交替使用GPU)、分离式(组件流水线执行)、混合式(自定义组合放置形式)[15][17] 性能表现 - 在具身智能训练中相比分离式执行模式系统提速超120%[7][24][27] - OpenVLA模型在Maniskill3任务中成功率从SFT后的30%-50%提升至80%-90% 涨幅40%-50%[24][28] - OpenVLA-OFT在LIBERO测试平台平均成功率97.3% 相比SFT模型提升62.4%[24][26] - 1.5B数学推理模型在AIME24/AIME25/GPQA-diamond数据集分别达48.44%/35.63%/38.46% 平均40.84%[29][30] - 7B数学推理模型在相同数据集达68.33%/52.19%/48.18% 平均56.23% 均实现SOTA[29][31] 系统优化特性 - 集成两套后端：Megatron+SGLang/vLLM支持已收敛模型架构 FSDP+HuggingFace支持未收敛模型架构[21] - 自适应通信库包含四项优化：自适应CUDAIPC/NCCL通信、负载均衡传输队列、多通道并发通信、快速通信重配置[19][22][25] - 自动化调度模块支持秒级在线扩缩容 70B模型1秒完成5D并行动态扩缩[23] - 支持LoRA训练、断点续训、多可视化工具集成 正在集成SFT模块提供一站式服务[18] 应用范围 - 专门支持Vision-Language-Action Models(VLAs)+RL训练 集成OpenVLA、OpenVLA-OFT、Pi 0等主流具身大模型[24] - 支持百余类具身智能任务 涵盖CPU-based和GPU-based仿真器[24] - 率先实现Pi 0的大规模强化学习微调 相关算法将于9月底发布[24] - 框架设计具通用性 可快速支持其他非具身智能应用场景[29]

文章核心观点 - 人工智能革命被类比为第二次工业革命 将带来10万亿美元的市场机遇 并推动认知革命的发展 [1][3][7] - 知识工作者的算力消耗预计增长10-10000倍 为AI专业化应用创造巨大机会 [1][26] - 红杉资本未来12-18个月将重点关注五大投资主题：持久化记忆、通信协议、AI语音、AI安全和开源AI [1][28] 工业革命类比与认知革命 - 工业革命从蒸汽机发明到现代工厂流水线形成历时211年 根本原因在于专业化的必然要求 [3][6] - 认知革命的起点是1999年NVIDIA GeForce 256 GPU（相当于蒸汽机） 2016年出现第一个AI工厂（整合算法、算力与数据） [3] - 未来将出现类似洛克菲勒、卡内基的AI领域巨头 由专业化的创业公司构建未来应用程序 [5] 市场机遇规模 - 美国服务业市场价值10万亿美元 目前仅200亿美元被AI自动化改造 存在10¹³级别的巨大机会 [7][9] - 类比SaaS发展历程：从3500亿美元软件市场中60亿美元份额 扩张至6500亿美元总市场 AI将重现这一路径并更具爆发力 [9] - 红杉内部数据显示各服务业岗位TAM潜力：注册护士2840亿美元、软件开发2240亿美元、律师1250亿美元等（基于员工数量×年薪中位数） [10] 当前投资趋势 - 杠杆优于确定性：从100%确定性低杠杆 转变为百倍杠杆伴随不确定性 例如销售AI Agent可同时管理数百客户 [15] - 真实世界验证成为新标准：例如Expo公司在HackerOne平台证明其为世界排名第一的AI黑客 而非仅依赖学术基准 [18][19] - 强化学习落地产业：从理论讨论进入应用核心 例如Reflection公司利用强化学习训练开源编码模型 [21] - AI进入物理世界：涵盖人形机器人、硬件制造流程优化（如Nominal公司加速生产与质量保证） [23] - 计算成为新生产函数：每位知识工作者算力消耗预计增长10-10000倍 因需同时运作数十至上千个AI Agent [26] 红杉重点投资方向 - 持久记忆：需解决长期记忆与AI身份持久性问题 现有技术（向量数据库、RAG、长上下文窗口）尚未彻底解决 [30] - 无缝通信协议：需标准化协议（如模型上下文协议）实现AI Agent间自动协作 重构商业模式并削弱平台护城河 [32] - AI语音已成熟：保真度与延迟指标突破 支持实时对话 应用包括消费者端（AI朋友/伴侣）与企业端（物流协调、金融交易） [35] - AI安全全链条机会：覆盖开发层（安全技术开发）、分发层（防篡改）、用户层（防漏洞引入） 可配备数百安全AI Agent [37][38] - 开源AI处于关键转折点：从两年前无法与闭源竞争 到如今可提供顶尖基础模型 对开放创新生态至关重要 [40] 行业格局与未来展望 - 标普500市值显示科技巨头主导（如英伟达4万亿美元） 但服务业缺乏独立上市公司 认知革命将重塑市场边界 [12][13] - 五大投资主题突破将显著压缩工业革命百年历程至数年 加速AI产业化进程 [42]

大模型后训练强化学习技术演进 - GRPO已成为大模型通用的强化学习算法，能够应用于广泛的后训练任务，各大研究团队近期发布的重磅成果如DAPO、GSPO、GFPO均是对GRPO范式的改进 [4][5][38] 后训练与强化学习基础 - 大语言模型开发包含预训练和后训练两个关键阶段，预训练使模型掌握通用语言能力，后训练则强化模型在特定领域的知识和应用能力，增强模型适应性和灵活性 [11][12] - 强化学习是后训练中不可或缺的核心部分，其核心机制是通过反馈增加好结果出现概率并降低坏结果出现概率 [13][14] - OpenAI在GPT训练中采用RLHF方法，通过人类反馈训练agent生成更有用的输出，但直接使用反馈会导致激励不充分和方差过大问题 [17][19] PPO机制及其局限性 - PPO通过引入Critic价值函数将绝对Reward反馈转变为相对评估的Advantage机制，显著降低训练方差 [21][22][23] - PPO采用Clip策略限制新策略相对于旧策略的动作概率变化幅度，避免模型单次更新幅度过大，同时加入Reference Model和KL散度作为双保险保障更新稳定性 [24][25][26] - PPO需同时训练策略模型和Critic模型，Critic模型大小与策略模型相同，带来额外内存和计算负担，训练成本高且难以扩展 [29] GRPO创新与优势 - GRPO通过去掉Critic模型解决PPO高成本问题，采用策略模型多次输出采样的平均Reward作为baseline计算Advantage，大幅降低内存需求和计算复杂度 [30][31][34][35] - 相比PPO需要基础模型3倍内存，GRPO仅需0.5倍内存，训练速度快3-5倍，采用单策略网络架构更简单直观 [37] - 但GRPO存在严重稳定性问题，容易导致训练崩溃，需要足够多的Batch数据来降低策略梯度方差，对中小规模训练不友好 [39] DAPO优化方案 - DAPO针对GRPO实践问题提出四项优化：Clip-Higher机制通过解耦剪辑范围提升训练早期熵值；动态采样过滤无效梯度样本；Token级策略梯度损失保证长序列所有token公平贡献；超长奖励调整避免过长响应 [42][43][44] - 使用DAPO算法让Qwen2.5-32B模型在AIME 2024基准获得50分，优于同等规模DeepSeek模型且训练步数少50% [41] GSPO范式突破 - GSPO将重要性采样从token级提升至序列级，基于整个序列似然度计算重要性比值，显著降低长序列方差积累问题，提高训练稳定性 [48][53][54] - 序列级重要性采样进行长度归一化，避免不同回答长度带来的不稳定，且裁剪时作用于整个序列而非部分token，更符合奖励信号整体性 [56][57][58] - 该方法很可能成为未来后训练强化学习新标准，特别适合专家混合模型场景 [59] GFPO多属性优化 - GFPO解决GRPO依赖单一标量奖励难以联合优化多个属性问题，可同时优化简洁性、准确度等属性 [62][63] - 通过为每个问题采样更大候选响应组并显式过滤不符合目标属性的响应，无需复杂奖励工程即可实现多属性优化 [64][67] - GFPO在Advantage估计层面进行干预，可与任何GRPO类似方法兼容 [68] GRPO其他缺陷 - GRPO将多奖励信号合并为单一标量信号，模型无法区分奖励具体来源行为 [73][75] - 在多轮推理任务中会出现指数级分支问题，导致训练非常困难 [79]

清华大学、北京中关村学院、无问芯穹联合北大、伯克利等机构重磅开源RLinf：首个面向具身智能的"渲训推一体化"大规模强化学习框架。 人工智能正在经历从 "感知" 到 "行动" 的跨越式发展，融合大模型的具身智能被认为是人工智能的下一发展阶段，成为学术界与工业界共同关注的话题。 机器之心报道 在大模型领域，随着 o1/R1 系列推理模型的发布，模型训练的重心逐渐从数据驱动的预训练 / 后训练转向奖励驱动的强化学习（Reinforcement Learning, RL）。 OpenAI 预测强化学习所需要的算力甚至将超过预训练。与此同时，能够将大规模算力高效利用的 RL infra 的重要性也日益凸显，近期也涌现出一批优秀的框架， 极大地促进了该领域的发展。 机器之心编辑部 图 1 : OpenAI 在红杉资本闭门会上的分享 然而，当前框架对具身智能的支持仍然受限。相比推理大模型这一类纯大脑模型，具身智能领域存在大脑（侧重推理、长程规划，如RoboBrain）、小脑（侧重执 行、短程操作，如OpenVLA）及大小脑联合（快慢系统，如pi 0.5）等多样模型。 其次， 具身智能除了包含Agentic AI的多步决策 ...