2025年，注定是人工智能历史上被铭记的一年。 如果说2023年是「惊艳」（ChatGPT的横空出世），2024年是「迷茫」（在大模型落地的憧憬中探索），那么在Andrej Karpathy的笔下，2025则是「觉 醒」的一年。 Karpathy一直以来都是AI界的「顶流」布道者。 他的年终总结不仅仅是一篇技术回顾，更像是一部微缩的编年史，记录了LLM如何从「模仿人类的鹦鹉」进化到了「召唤理性的幽灵」。 他以极其敏锐的视角，捕捉到了AI进化的核心：RLVR（基于可验证奖励的强化学习）的崛起、Vibe Coding（氛围编码）的流行、以及那个令人深思的 哲学隐喻： 创造AI，我们到底是在制造一种新的物种，还是在召唤幽灵？ 这一次让我们剥茧抽丝，深度解析Karpathy提到的每一个范式转移。 穿过技术术语的迷雾，直抵智能进化的本质，呈现一个真实、疯狂且充满「参差感」的AI-2025年。 第一章：RLVR革命 从「讨好人类」到「追求真理」 在2025年之前，训练一个大语言模型（LLM）的通常包含三道工序： 1. 预训练（Pre-training）： 让模型阅读整个互联网，学会预测下一个token。这是「博学」的阶段 ...

RLVR方法的重要性与当前瓶颈 - 2024年以来以OpenAI o1、DeepSeek-R1、Kimi K1、Qwen3等为代表的大模型在数学、代码和科学推理任务上取得显著突破主要得益于RLVR方法[1] - RLVR通过数学验证、单元测试等可自动判断对错的方式提供训练信号替代了传统依赖人类评判的流程使模型能够进行大规模高效率的自我改进[1] - RLVR在实践中面临探索机制极易失衡的关键瓶颈要么探索受限陷入熵崩塌要么探索失控引发熵爆炸[2] 传统熵正则化方法的困境 - 传统熵正则化方法在RLVR训练中面临两难陷阱探索强度系数β过小会导致探索受限发生熵崩塌模型迅速退化为近似确定性策略所有回答高度相似[9] - 当β稍大时模型易在庞大的动作空间与超长的推理轨迹中失控概率分布被摊平导致熵爆炸生成内容充斥无意义符号逻辑断裂[10] - 传统方法失效的根本原因是熵正则化的激励是无差别的而大语言模型的生成过程具有鲜明的结构性忽略了探索价值的非均匀分布[10] SIREN方法的创新机制 - 选择性熵正则化方法通过三重机制实现对探索行为的精准调控包括划定探索范围识别关键决策点稳定训练过程[14] - Top-p掩码机制将熵的计算范围严格限定于概率最高的核心token集合确保探索仅在语义合理的候选词中进行避免无效探索[14][15] - 峰值熵掩码机制自动识别生成序列中熵值显著高于平均水平的逻辑关键词并将探索激励集中作用于这些关键位置[16] - 自锚定正则化将熵值目标从最大化调整为维持合理区间通过动态锚定机制使探索强度始终处于可控范围避免训练失稳[17] SIREN方法的实验效果 - 在Qwen2.5-Math-7B上SIREN平均maj@k达到54.6%超越最强基线4.8%[22][24] - 在最具挑战的AIME24/25数据集上性能提升均达到6.6%[34] - 该方法在1.5B到8B不同规模不同基座的模型上均稳定有效展现出良好的泛化能力[34] - 与传统的熵正则方法相比SIREN展现出更合理有效的探索模式能够避免困惑度坍缩保持答案多样性训练过程平稳可控[25][28][30] 行业影响与未来展望 - 随着强化学习成为大模型后训练的主流方法如何实现稳定可控高效的探索将成为释放大模型潜力突破性能瓶颈的核心议题[35] - 该研究提出的选择性探索调控机制为探索的精细化提供了一种可行的解决方案有望为下一代推理模型的训练范式提供启发[35] - 该方法有望推动大模型在数学代码科学推理等复杂任务以及其他更广阔的应用领域取得进一步突破[35]

文章核心观点 - 一篇由多所顶尖大学研究者完成的综述系统性回顾了强化学习在大语言模型全生命周期中的最新进展、挑战及未来方向 [2][3] - 强化学习技术显著提升了大语言模型的推理能力与对齐性能 尤其在理解人类意图、遵循指令和增强推理方面效果突出 [2] - 该综述提出了首个强化学习在LLMs全生命周期的分类总览图 涵盖了预训练、对齐、RLVR、数据集与基准测试、开源框架五大分支 [5][6] 强化学习在LLM生命周期中的应用 - 强化学习参与大语言模型的预训练、对齐及推理增强训练全过程 并通过测试基准进行验证 [5] - 预训练阶段应用包括Reinforcement Pre-Training、OctoThinker、Visual Pre-Training等方法 [6] - 对齐阶段涵盖RLHF和奖励建模、经典算法、新奖励模型设计等多种技术路线 [6] - 基于可验证奖励的强化学习是综述关注重点 系统梳理了自OpenAI-o1与DeepSeek-R1发布以来的应用研究 [7] RLVR技术架构与进展 - RLVR通过引入可自动验证的奖励机制 优化推理过程并增强模型对复杂任务的适应能力 [7] - 技术架构包含奖励模型、离线策略辅助、奖励过滤、采样与推理策略、智能体强化学习以及奖励更新层级 [8] - 算法进展包括混合学习策略、对抗/多智能体、树结构、视觉语言推理等多种先进方法 [6] - 多模态推理涵盖视频空间推理、具身推理、生成与纯视觉、专业领域任务等应用方向 [6] 数据集与评估基准 - 整理了大量现有用于强化学习微调的数据集与评估基准 为研究提供实践参考 [3][6] - 数学推理基准包括GSM8K、MATH、OlympiadBench等 [6] - 代码能力评估涵盖APPS、LiveCodeBench、SWE-bench等基准 [6] - 通用知识与STEM评估包含MMLU系列、GPQA、TheoremQA等多个权威测试集 [6] 开源工具与训练框架 - 总结了当前主流开源工具与训练框架 为研究人员提供清晰实践参考 [3][6] - 通用端到端框架包括VeRL、ColossalChat、DeepSpeed-Chat、TRL等 [6] - 专门训练库包含Nemo RL、FlashRL、ROLL等多个工具包 [6] - 这些资源整合对LLMs场景下探索RL的研究人员具有重要参考价值 [11] 技术挑战与未来发展 - 大规模RL训练对LLM来说仍是计算密集型且往往不稳定 系统可扩展性和训练稳定性存在挑战 [12] - 奖励设计和信用分配是应用难点 长时间推理过程中的奖励延迟问题给模型学习带来困难 [12] - 缺乏清晰理论框架分析RL在LLM训练中的泛化能力和稳定性 对有效性和风险理解不充分 [12] - 数据集和评估基准建设不足 缺乏统一标准化基准为强化学习微调方法比较验证带来困难 [12]