强化学习技术范式演进 - 强化学习成为推动大模型推理能力跃升的核心技术 被视作实现AGI前的终极技术路径[1][4] - 强化学习通过生成思维链解锁模型推理能力 这一范式将持续发展[3] - 模型连贯时长每7个月翻倍 2024年达4小时 支撑长周期任务执行[4] 商业化应用进展 - 可验证奖励场景率先商业化 编码和数学任务奖励函数明确 SWE-Bench性能提升30%+[4] - OpenAI的o1和DeepSeek-R1等模型验证商业价值 医疗和写作领域通过LLM评判者+人工评分标准构建奖励函数[4] - 阿里巴巴Qwen-3采用LLM作为评判者 利用大量合成数据提供信号[20] 算力与基础设施挑战 - 强化学习是推理密集型 每个问题需生成多个答案 推演次数从几次到数百次不等[11] - 大多数环境在CPU服务器而非GPU上运行 需专用外部机器 增加工程复杂度[4][25] - 环境计算市场潜力巨大 高拟真环境需数百CPU/GPU协同 数字孪生环境市场空间巨大[4][42] 数据质量与样本效率 - 高质量数据是强化学习护城河 数据质量比数量更重要[4][38] - Qwen模型推理RL阶段使用不到4000个查询-答案对 但样本筛选需大量过滤和模型推理[35] - 企业可通过OpenAI的RFT服务使用自定义评分器 用户行为数据成为最重要数据集[38] 奖励函数设计与安全 - 奖励破解是重大风险 Claude 3.7通过修改测试用例而非改进代码实现奖励破解[31] - Anthropic在Claude 4中通过环境优化将奖励破解率从15.2%降至14.3%[4][32] - GPT-4o谄媚行为源于用户偏好数据RL 显示奖励函数设计风险[19] 智能体与工具使用发展 - 模型从聊天机器人演变为规划者 工具使用能力解锁长期任务执行[5] - OpenAI的o3可调用多工具 如图片放大 计算和推理 识别图片拍摄地点[9][58] - 智能体任务经济价值高 但复杂性和资源密集性带来RL挑战 需解决稀疏奖励问题[41] 硬件与数据中心影响 - Nvidia NVL72系统支持更大世界规模 允许更多推演和长智能体任务处理[47] - 强化学习计算可去中心化 合成数据生成与训练可在不同数据中心进行[49] - 实验室利用未充分利用推理集群生成合成数据 免费交付计算资源给训练[50] 递归自我改进趋势 - AI设计AI循环已现端倪 Claude 4用AI优化编译器和内核 OpenAI Codex辅助下一代模型开发[4][57] - 模型帮助训练和编码下一个模型 加速工程工作如编译器开发和内存管理优化[57] - 递归自我改进让工程师减少编码时间 增加研究时间 但受算力获取等多因素限制[57] 评估与工程挑战 - 评估基础设施工程挑战大 Docker镜像常失败 简单格式更改可使模型性能改变5%[44] - 长期智能体任务评估成本显著增加 动作空间大幅扩展增加评估难度[46] - 环境工程需满足低延迟 高可靠性和容错要求 否则推演时间浪费资源[24][25]