语言模型对奖励噪音的鲁棒性研究 - 语言模型对强化学习中的奖励噪音具有鲁棒性，即使翻转相当一部分奖励（如正确答案得0分，错误答案得1分），下游任务表现不受显著影响 [2] - 强化学习对下游任务的提升关键在于模型能否产生高质量的思考过程，而非奖励的绝对准确性 [2] - 仅通过奖励模型输出中关键思考词的出现频率（而非答案正确性），语言模型仍能取得高表现 [2] 思考模式奖励机制（RPR） - 设计极简奖励机制RPR，根据高频思考关键词（如"First, I need to"、"finally"）的出现频次给予奖励 [6][7] - 仅使用RPR机制（不考虑答案正确性），Qwen-2-5-7B在MATH-500数据集上准确率从5%提升至70%以上 [11] - RPR可校准奖励模型输出，即使奖励模型准确率仅65%，校准后效果接近85%准确率模型的表现 [17] 奖励模型准确率与噪声耐受性 - 当奖励模型准确率超过75%时，不同模型训练结果的主观评测得分相似 [14] - 奖励模型准确率低于75%时训练效果显著下降，65%准确率时表现大幅劣化 [14] - RPR校准可帮助较小模型（如Qwen-2-5-3B）避免训练崩溃，在复杂开放任务中展现良好解题思路 [20][21] 强化学习的核心作用 - 强化学习主要改变语言模型输出风格并形成良好思考模式，而非教授新知识 [22] - 预训练阶段的能力提升仍至关重要，因其构成下游任务表现的基础瓶颈 [23] - 实验显示Llama3因预训练阶段思考路径质量不足，表现和抗噪音能力显著弱于Qwen模型 [23]