研究背景与目标 - 旨在通过构建可控合成数据框架，在完全解耦环境下定量分析预训练、中期训练和强化学习对模型推理泛化能力的因果影响，以明确后训练是否真正扩展了模型能力 [2] 核心研究方法 - 设计了一套基于GSM-Infinite的可控合成数据框架，将“推理结构”与“表面语境”完全解耦，以从源头控制数据分布、推理深度与语境广度 [10][12] - 通过控制有向无环图的边数来精确量化推理复杂度，并应用不同“语境模板”将抽象数学图渲染为自然语言问题，以考察模型是否真正学会推理逻辑 [12] - 定义了三个互不重叠的训练阶段以避免数据污染，并引入过程级验证来防止奖励破解，要求推理步骤和最终答案全对才判定通过 [13] 关键研究发现：强化学习的效用 - 强化学习并非总能提升推理能力，其效用取决于“能力边缘” [16] - 对于预训练已充分掌握的简单任务，强化学习只能提升pass@1，无法提升模型上限pass@128 [17] - 真正的能力跃迁发生在模型“能力边缘”的任务上，强化学习能带来显著的外推性泛化增益；若任务难度超出模型探索范围，强化学习的收益会消失 [17] - 强化学习的训练数据必须精心校准，瞄准模型的“能力边缘”，既不能太简单也不能太难 [18] 关键研究发现：预训练与情境泛化 - 如果预训练中完全没有接触过某种长尾语境，即便强化学习阶段大量训练，模型也无法实现有效迁移 [21] - 只要在预训练中混入极少量目标语境数据作为“种子”，强化学习就能在后训练阶段将其放大，实现强劲的跨语境泛化 [22] - 强化学习无法无中生有，需要预训练提供最基础的“原语”作为抓手 [23] 关键研究发现：中期训练的作用 - 在固定计算预算下，引入中期训练阶段比单纯增加强化学习步数效果更好 [26] - 中期训练起到了“分布桥梁”的作用，极大地提升了强化学习的样本效率和最终性能上限 [27] - 对于极难任务，“少量中期训练+大量强化学习”是最佳策略；对于中等难度任务，增加中期训练比重能带来更稳定的pass@1表现 [26] 关键研究发现：过程奖励机制 - 将稀疏的结果奖励与密集的过程奖励相结合，能显著减少结构性错误，在长链条推理任务中带来稳定的pass@1提升 [29] - 过程级信号能够规范强化学习的搜索方向，确保能力提升建立在忠实推理基础之上 [30] 实践指导与结论 - 强化学习数据设计应针对模型的“能力边缘”构建数据集 [31] - 预训练策略必须确保长尾领域的原子能力有至少1%的覆盖率，为强化学习留出接口 [32] - 应根据目标任务的难度动态调整中期训练与强化学习的比例，攻克难题需要更多强化学习，提升稳定性需要更多中期训练 [33] - 研究结果阐明了预训练、中期训练和强化学习之间的相互作用，为理解和改进推理语言模型的训练策略奠定了基础 [5]