公司核心定位与战略 - 公司本质上仍是一家纯AI研究公司，核心使命是构建AGI[27][28][29] - 公司核心研究团队规模约500人，内部同时进行约300个项目[20][21] - 研究策略强调探索下一代范式而非复现竞争对手成果，在探索性研究上投入的算力超过训练最终产物本身[21][22][23] 人才竞争与组织文化 - 行业人才争夺激烈，Meta等公司采取激进挖角策略如高管亲自送汤，但公司在保护核心人才方面表现突出，半数被挖直接下属全部拒绝邀请[10][11][14] - 公司通过高人才密度和明确优先级管理保持竞争力，研究团队门槛极高，近期甚至故意不开放新招聘名额以维持组织精干[161][162][163] - 公司坚持对研究成果公开署名的政策，尽管可能增加人才被挖风险，但认为认可个人贡献对创新文化至关重要[164][166][167] 技术进展与竞争态势 - 公司内部已有性能达到Gemini 3的模型，并即将发布表现更好的下一代模型，在预训练方面有信心与Gemini 3正面对决[34][38][119] - 过去半年重点投入预训练领域，认为该领域仍有巨大潜力，完全不同意"规模扩展已死"的观点[38][116][118][119] - 模型在竞赛中表现突飞猛进，一年内从世界第100名跃升至前5名，在数学和科学领域展现出超人类水平能力[47][129][135] 研发资源管理 - 算力需求极其旺盛，若有10倍算力增加可在几周内全部用满，看不到需求放缓迹象[143][144] - GPU资源分配通过每1-2个月系统梳理300个项目优先级来决定，算力分配直接传达组织核心优先事项[20][21][24] - 研究领导层需具备极强技术判断力，持续做出正确技术决策是维持研究员尊重的关键[125][126] 未来研究方向 - 设立明确目标：一年内让AI成为研究助手，2.5年内实现端到端研究流程自动化[140][141] - 重点关注预训练、强化学习及系统整合方向，已有多个具突破潜力的核心想法准备规模化[154][155] - 对齐研究是核心挑战，通过不监督思考过程保留观察窗口，深入研究模型意图识别与价值对齐[167][170][171][173] 产品与生态布局 - 与Jony Ive合作开发硬件设备，探索更自然的AI交互方式，让模型具备持续学习用户偏好的能力[148][149] - 推出OpenAI for Science计划，目标赋能科学家群体而非自身获诺贝尔奖，推动科研范式变革[131][132][136] - 面对开源模型竞争保持既定研究节奏，强调持续创新而非被动回应市场热点[159][160]

模型发布与产品线更新 - 公司于12月1日同时发布两个正式版模型：DeepSeek-V3.2和DeepSeek-V3.2-Speciale [1] - 官方网页端、App和API均已更新为正式版DeepSeek-V3.2 [1] DeepSeek-V3.2模型定位与能力 - 该模型的目标是平衡推理能力与输出长度，适合日常使用 [1] - 适用场景包括问答场景和通用Agent任务场景 [1] DeepSeek-V3.2-Speciale模型定位与能力 - 该模型的目标是将开源模型的推理能力推向极致，探索模型能力的边界 [1] - V3.2-Speciale是DeepSeek-V3.2的长思考增强版，同时结合了DeepSeek-Math-V2的定理证明能力 [1] - 该模型具备出色的指令跟随、严谨的数学证明与逻辑验证能力 [1] - 在主流推理基准测试上的性能表现媲美国际头部模型 [1] DeepSeek-V3.2-Speciale模型竞赛成就 - 该模型成功斩获IMO 2025（国际数学奥林匹克）、CMO 2025（中国数学奥林匹克）、ICPC World Finals 2025（国际大学生程序设计竞赛全球总决赛）及IOI 2025（国际信息学奥林匹克）金牌 [1] - 其中，ICPC成绩达到了人类选手第二名的水平 [1] - IOI成绩达到了人类选手第十名的水平 [1]

产品发布与定位 - 月之暗面发布并开源Kimi K2 Thinking模型，主打“模型即Agent”概念，是公司迄今能力最强的开源思考模型[1] - 模型具备边思考边使用工具的能力，无需人工干预即可执行200-300次连续工具调用[1] - 该版本上线后成为热议对象，被认为再次缩小了开源模型与闭源模型的差距[3] 核心技术参数 - 模型采用1TB参数规模，激活参数为32B，并采用INT4量化而非FP8精度[5] - 支持256K上下文窗口，采用更多专家、更少注意力头、更多思考的设计[5] - 通过测试时扩展技术同时扩展思考Token和工具调用轮次，实现更强的Agent和推理性能[8] - 采用量化感知训练和对MoE组件应用INT4纯权重量化，使模型支持原生INT4推理，生成速度提升约2倍[26] 性能基准测试表现 - 在人类最后的考试中，Kimi K2 Thinking在允许使用工具的情况下取得44.9%的SOTA成绩[9] - 在BrowseComp基准测试中取得60.2%的成绩，显著超过人类平均智能29.2%的水平[18] - 在²-Bench Telecom智能体工具使用基准中达到SOTA，成绩从K2 Instruct的73%提升至93%[15] - 在HLE、BrowseComp和SEAL-0等评测基准中均刷新SOTA，超越GPT-5、Claude Sonnet 4.5等闭源模型[10] 智能体与工具调用能力 - 模型可借助上百轮的“思考→搜索→浏览网页→思考→编程”动态循环，持续提出并完善假设、验证证据、进行推理[20] - 具备将模糊开放式问题分解为清晰可执行子任务的能力，展现出“刨根问底”的钻研特性[20] - 官方示例显示模型通过23次推理和工具调用成功解决博士级别数学问题[13] 编程与开发能力 - 在SWE-Multilingual、SWE-bench验证集和LiveCodeBench等编程测试中与最强闭源模型表现相当[21] - 处理HTML、React及组件丰富的前端任务时性能明显提升，能将创意转变为功能齐全、响应式的产品[23] - 在Agentic Coding场景中能灵活融入software agents，处理复杂多步骤的开发工作流，如复刻Word文字编辑器[23] 通用能力升级 - 创意写作能力显著提升，能将粗略灵感转化为清晰动人且意图明确的叙述，保持长篇内容的风格连贯性[25] - 学术研究领域在分析深度、信息准确性和逻辑结构方面均有提升，擅长处理学术论文和技术摘要[25] - 回应个人或情感类问题时更富同理心，能提供细致入微的观点和切实可行的建议[25] 部署与生态建设 - 模型代码和权重遵循最宽松的MIT协议，已上线kimi.com和最新版Kimi手机应用[10] - API可通过Kimi开放平台访问，项目地址和技术博客已公开[38] - INT4量化设计对推理硬件兼容性更强，特别对国产加速计算芯片更友好[27]

模型核心能力与定位 - 模型定位为“模型即Agent”，是迄今能力最强的开源思考模型，具备边思考边使用工具的能力，无需人工干预即可执行200-300次连续工具调用 [1] - 作为今年最受关注的开源模型系列之一，其发布被认为再次缩小了开源模型与闭源模型的差距 [3] - 模型代码和权重遵循最为宽松的MIT协议，已上线官方网站和手机应用，API可通过开放平台访问 [10] 技术架构与性能 - 模型采用1TB参数，激活参数为32B，使用INT4量化而非FP8，拥有256K上下文窗口 [5] - 通过测试时扩展技术，同时扩展思考Token和工具调用轮次，实现了更强的Agent和推理性能 [11] - 采用INT4纯权重量化，支持原生INT4推理，将生成速度提升了约2倍，且对国产加速计算芯片更友好 [30][31][32] 基准测试表现 - 在人类最后的考试中，允许使用工具的情况下取得了44.9%的SOTA成绩 [12] - 在智能体工具使用基准²-Bench Telecom中，性能从73%提升至93%，达到SOTA水平 [14][15] - 在测试自主网络浏览能力的BrowseComp基准上，以60.2%的成绩成为新的SOTA模型，远超人类平均智能29.2%的分数 [18] 自主搜索与复杂任务处理 - 模型具备长程规划和自主搜索能力，可借助上百轮的“思考→搜索→浏览→编程”动态循环，持续提出并完善假设、验证证据和进行推理 [20] - 能够将模糊且开放式的问题分解为清晰、可执行的子任务 [21] - 在第三方测试中，通过23次推理和工具调用成功解决了博士级别数学问题 [14] 编程与开发能力 - 在SWE-Multilingual、SWE-bench验证集和LiveCodeBench等编程基准测试中，能与GPT-5、Claude Sonnet 4.5等最强闭源模型竞争 [22] - 在处理HTML、React及组件丰富的前端任务时性能有明显提升，能将创意转变为功能齐全、响应式的产品 [24] - 在Agentic Coding场景中，能调用各种工具同时进行思考，灵活融入software agents处理复杂、多步骤的开发工作流，例如复刻真实可用的Word文字编辑器或创造voxel art作品 [24][25][27] 通用基础能力升级 - 创意写作能力显著提升，能将粗略灵感转化为清晰、动人且意图明确的叙述，驾驭微妙文风差异并在长篇中保持风格连贯性 [28] - 学术与研究能力增强，在分析深度、信息准确性和逻辑结构方面有显著提升，擅长处理学术论文、技术摘要和长篇报告 [28] - 回应个人或情感类问题时更富同理心，能提供细致入微的观点和切实可行的建议 [28]

人工智能发展叙事转变 - 人工智能发展叙事正发生根本性转变，从算法突破和模型参数规模定义的竞赛，转向受制于物理世界的严苛限制，如能源供应、地缘政治和资本投入 [2] - AI的未来是一场关于基础设施、能源获取和全球权力平衡的宏大博弈 [2] 推理能力竞赛 - AI研究的核心战场已从语言生成转向更复杂的“推理”能力，OpenAI的o1模型引领了通过“思考过程”解决多步逻辑问题的竞赛 [3] - 推理能力成为衡量前沿模型智能水平的黄金标准，在代码、科学和数学等领域展现了强大的解决问题的能力 [3] 主要参与者格局 - 形成三大阵营：以OpenAI、Google和Anthropic为代表的闭源模型占据智能绝对前沿；以中国DeepSeek为首的新兴力量正快速追赶；中国主导的开源模型生态系统蓬勃发展 [4] - DeepSeek的R1模型在数学推理基准AIME上超越了当时的o1-preview版本，标志着中国AI力量首次在推理能力上与美国顶级实验室正面抗衡 [4] 能力-成本曲线与市场格局 - 领先AI实验室在激烈竞争如何以更低成本提供更强能力，谷歌和OpenAI旗舰模型的能力价格比正以每3到6个月翻一番的速度提升 [5] - 高昂的前期训练成本构筑了极高进入壁垒，巩固了少数巨头的领先地位；持续下降的推理价格正在催生AI应用的“寒武纪大爆发” [5] 推理能力评估的挑战 - 当前许多推理能力提升可能未超出基线模型的误差范围，基准测试存在被污染、数据集过小以及对解码参数高度敏感等问题 [6] - 在数学问题中加入无关干扰能让顶级模型的错误率翻倍，揭示当前AI可能在很大程度上仍是更高级的“模板匹配”而非真正逻辑推理 [6] 地缘政治影响 - 美国正全面转向“美国优先的AI”战略，通过出口管制、产业政策和巨额基础设施投资维护其在全球AI堆栈中的领导地位 [7] - 美国芯片出口管制政策的反复摇摆刺激了中国自主替代进程，中国主要云服务商已停止新的H20芯片订单转向采购国产芯片 [7] 中国AI开源生态崛起 - 中国AI社区走出独特“开源”道路，全球开发者社区中中国模型的累计下载量已经反超美国，到2025年9月全球区域模型采用率中中国模型占63%，美国仅为31% [8] - 基于Qwen模型二次开发的衍生模型数量已超过了曾经的“开源宠儿”Llama，中国通过开源在全球建立强大的开发者生态系统 [8][9] 中国开源战略优势 - 中国AI公司在技术实力、工具链支持和商业许可上全面发力，开源了高效的强化学习训练框架，并通过宽松许可证降低商业化应用门槛 [9] 物理世界瓶颈 - AI领导者们将目光投向“超级智能”目标，相关基础设施投资以“万亿”美元为单位规划，如OpenAI的“星际之门”项目和Meta的巨型数据中心 [10] - 电力供应成为限制AI发展的最关键瓶颈，到2030年美国电网停电频率可能增加100倍，到2028年仅美国就可能面临68GW的电力缺口 [10] 能源挑战与应对 - AI行业与能源行业深度融合，谷歌计划从未来的核聚变电站购买电力，但短期内数据中心建设需求可能导致部分地区延缓淘汰燃煤电厂 [11] - 数据中心选址不再仅考虑网络延迟，更要考虑电网接入能力、电价以及当地社区的接纳程度 [11] 世界模型技术前沿 - AI研究的前沿是“世界模型”，能够根据用户实时输入预测下一帧画面，创造可交互的虚拟环境，谷歌DeepMind的Genie 3和Odyssey项目已可生成可持续数分钟的互动世界 [11] - 世界模型技术为训练具身智能体提供了可无限扩展的模拟环境，有望以远超物理世界的效率获得解决现实问题的能力 [11]

核心观点 - 深度求索公司通过纯强化学习方法训练出DeepSeek-R1推理模型 显著降低算力需求并提升复杂任务表现 [1][2][6] - 该模型在数学编程竞赛及STEM领域研究生水平问题中超越传统LLM表现 并具备指导小模型推理的能力 [2][17][19] - 训练成本仅294万美元 加上基础模型总成本600万美元 远低于同类模型数千万美元花费 [2] 技术方法 - 采用纯强化学习框架(GRPO) 无需人类标注推理轨迹 仅通过最终答案正确性获得奖励信号 [6][10] - 绕过了监督微调阶段 避免人类定义推理模式限制模型探索能力 [10] - 模型自主发展出验证反思和替代方法探索等复杂推理行为 [11] 性能表现 - 在美国数学邀请赛(AIME)测试中pass@1分数从156%提升至779% 自一致性解码后达867% 超越人类参赛者平均水平 [17] - 在编程竞赛及研究生水平生物物理化学问题中表现显著 [19] - 训练过程中出现"顿悟时刻" 模型开始使用"wait"标志发展出自我监控能力 [13] 模型优化 - 通过多阶段训练框架整合拒绝采样强化学习和监督微调 解决可读性差和语言混合问题 [23][24] - 在保持推理能力同时通过非推理数据使模型行为与人类偏好对齐 [24] 能力限制 - 结构化输出和工具使用能力不及现有模型 无法使用搜索引擎和计算器 [32] - 处理简单问题时存在"过度思考"现象 主要优化中英文时可能出现语言混合 [32] - 对提示词敏感 少样本提示会降低性能 尚未广泛应用于软件工程任务 [32] 行业影响 - 研究表明预训练检查点本身具有解决复杂推理任务的潜力 关键因素在于提供困难问题可靠验证器和充足强化学习资源 [29] - 高级推理行为在强化学习过程中有机涌现 为开发更自主自适应的大语言模型铺平道路 [29] - 纯强化学习方法有望解决任何可被验证器评估的任务 未来可能在复杂推理领域超越人类能力 [29]

文章核心观点 - OpenAI的ChatGPT成功被视为一次意外收获 公司真正的长期战略是开发具备推理能力的通用AI智能体（AI Agents） 其技术突破源于数学推理研究[1][2][3] - 公司通过结合大语言模型、强化学习和测试时计算三大技术 实现推理能力飞跃 关键突破内部代号为"Q*"或"Strawberry"[4][5] - 基于新方法开发的o1推理模型在2024年秋季问世 该模型使OpenAI在国际数学奥林匹克竞赛（IMO）中获得金牌[3][6] - 公司面临Google、Anthropic、xAI和Meta等竞争对手的激烈追赶 行业竞赛焦点在于谁能率先实现通用AI智能体愿景[9] OpenAI技术发展路径 - 数学领域被选为推理能力研究的起点 因为数学是纯粹逻辑和推理的试金石 2022年MathGen团队专注训练AI模型解答高中数学竞赛题[2] - 从语言处理到逻辑推理的跨越通过三大技术结合实现：大语言模型提供知识基础 强化学习通过奖惩机制优化决策 测试时计算允许模型反复验证思考步骤[5] - 新技术催生"思考链"（Chain-of-Thought）方法 模型展示完整解题思路而非直接输出答案 研究员观察到模型具备回溯错误和情绪化反应的特征[6] 推理能力的技术本质 - 公司从计算机科学角度定义推理为"有效消耗算力得到答案"的过程 强调功能实现而非形式模仿[7] - 研究文化采用自下而上模式 团队只需证明想法突破性即可获得GPU和人才资源支持 这种机制保障了对AGI使命的长期投入[7] - AI推理与人类思考的关系被类比为飞机与鸟类飞行 不同机制可实现相同甚至更强大的结果[7] 未来发展方向 - 当前AI智能体擅长定义明确的可验证任务（如编程） 但在处理主观性任务（如停车位选择或旅行规划）时仍存在瓶颈[8] - 核心挑战在于缺乏训练主观任务的数据 公司已开发新的通用强化学习技术训练模型处理无标准答案的问题[8] - IMO金牌模型采用多智能体协作机制 同时探索不同解题路径后选择最优解 这代表未来AI演进方向[8] - 终极目标是开发能处理互联网任何事务并理解用户偏好的超级智能体 所有研究均指向该方向[8] 行业竞争格局 - OpenAI曾为AI行业绝对引领者 但目前面临Google、Anthropic、xAI和Meta等对手的强势竞争[9] - 行业竞争焦点转向实现"智能体未来"的时间赛跑 关键在于能否在被超越前率先达到技术终点[9]

AI推理能力的发展与演进 核心观点 - AI行业进入新范式，推理能力成为智能下半场的关键驱动力，模型从表层关联跃升至复杂认知[4] - 推理是涌现能力，需pre-training达到阈值后才有效，小模型无法受益[11] - 未来数据将比算力更稀缺，强化学习可提升数据利用效率[5][25] - Multi-agent长期互动或催生"AI文明"，规模扩大自然涌现复杂隐式模型[44][46] 推理能力的本质与演进 01 推理是涌现出来的能力 - 类比人类"系统一/系统二"思维：系统一为直觉快速反应，系统二为慢速深度推理[8] - GPT-2级小模型使用思维链无效，大模型才能展现推理增益，类似大脑皮层进化[11] - 多模态任务中，空间推理/多步整合需系统二，图像识别等依赖系统一[12] 02 超级智能的推理范式 - 仅靠pre-training scaling无法实现超级智能，需通用推理范式[20] - OpenAI内部曾分歧，领导层前瞻性押注推理与强化学习，放弃部分其他方向投入[21] - 决策关键：2016年押注scaling，2021年与Ilya共识需推理范式[22][23] 数据效率与训练方法革新 03 RL高效数据利用 - 人类5样本学会概念，模型需上百样本，强化学习可弥补效率差距[25] - 扑克AI依赖GTO策略效率低，人类能快速识别对手漏洞（剥削性策略）[26] - Diplomacy项目突破：AI需建模玩家行为动态调整，非固定策略[28][31] 06 Mid-training新范式 - Mid-training介于pre-training与post-training间，通过RLHF等干预模型内部表征[40] - 三阶段流程：pre-training半成品→mid-training能力拓展→post-tuning优化体验[42] - 直接交互pre-training模型体验差，mid-training后实用性显著提升[42] 技术瓶颈与未来方向 05 Test-time compute瓶颈 - 成本指数上升：思考时间从分钟延长至周，需提升单位计算质量非单纯延长时间[36] - Wall-clock时间限制：串行实验流程拖累研发效率，药物研发领域尤为突出[37][39] 07 Multi-agent与文明演化 - OpenAI团队探索multi-agent长期协作竞争，类比人类文明积累知识[44] - 反对人工启发式规则，主张规模化训练自然涌现心智理论[45][46] - 自博弈范式局限：非零和博弈缺乏明确目标，万智牌等复杂游戏需无模型强化学习[48][50] AI应用实践与挑战 Noam的AI编程实践 - 日常依赖Codex/Windsurf处理核心开发，模型独立完成PR生成[52][53] - 当前缺陷：无法积累任务经验，PR评审仍依赖人工，环境配置自动化待突破[54] - Sora多模态进展迅速，但推理速度限制即时响应场景适用性[53] 非共识观点与对齐 04 推理能力边界拓展 - 推理不仅限于可验证领域，Deep Research等主观任务仍可形成反馈闭环[33] - 推理助力AI对齐：Cicero案例显示可控推理系统可提升安全性[34][35] 注：所有数据与案例均来自OpenAI研究员Noam Brown的前沿实践，涉及GPT系列、Diplomacy AI Cicero等关键项目[4][20][29][31]

大模型推理能力发展 - 推理能力成为衡量AI模型智能的关键指标，是行业竞争焦点[2] - 推理效率已成为模型部署和性能的关键限制因素[3] - 英伟达推出Llama-Nemotron系列模型，专注高效推理，采用开放许可方式[3] Llama-Nemotron系列模型概况 - 包含三个模型规模：Nano（8B）、Super（49B）、Ultra（253B），另有支持超长上下文的UltraLong（8B）变体[4] - 模型权重和部分训练数据在Hugging Face公开，遵循NVIDIA Open Model License和Llama社区许可，可商业使用[5] - 首批支持动态推理切换的开源模型，用户可在标准聊天模式和推理模式间自由切换[6] 模型性能与优化技术 - LN-Ultra模型相比DeepSeek-R1显著提高推理吞吐量和部署效率[6] - 通过Puzzle框架实现高效推理优化，支持模块替换和精度-效率权衡[12][15] - 采用移除注意力机制和FFN压缩技术，优化总体吞吐量与内存节省[16] - LN-Super在单块H100 GPU上实现5倍推理吞吐提升，TP1配置下保持≥2.17×吞吐优势[19] - LN-Ultra在8张H100 GPU节点上实现1.71倍延迟提升，支持300万FP8精度Token缓存[20][21] 训练方法与知识迁移 - 多阶段后训练流程强化推理和非推理任务表现，包括监督微调和强化学习[9] - Qwen负责数学和科学数据生成，DeepSeek-R1作为核心教师模型迁移深度逻辑能力[9] - 通过"detailed thinking on/off"指令机制实现推理深度与回答风格的灵活切换[27] - LN-Ultra在MMLU、MATH500、HumanEval等基准测试上超越或接近Llama 3系列[25] 强化学习与性能提升 - 大规模强化学习（RL）帮助学生模型超越教师模型性能[31] - 采用GRPO算法提升科学推理能力，训练消耗约14万张H100 GPU小时[32] - 课程化学习策略显著帮助模型在复杂推理问题上的收敛和泛化[35] - FP8精度生成模式实现1.8倍吞吐提升，单个GPU最高达32 token/s[37] 指令跟随与人类反馈优化 - 短周期强化学习训练优化指令跟随能力，提升传统评测和推理任务表现[39] - LN-Super在Arena Hard评测中取得88.3分，超越多个专有模型和更大规模开源模型[40] - 迭代式在线RPO训练方式最大化偏好奖励，Arena Hard分数从69.1提升至88.1[40][41]

算法改进与优化 - GRPO算法存在响应级长度偏差和问题级难度偏差，导致生成错误响应 Dr. GRPO通过去除归一化项、采用蒙特卡罗回报估计优势等方法，有效避免优化偏差，提升令牌效率并维持推理性能 [3][4] - DAPO方法解决GRPO和PPO在大语言模型强化学习中的熵坍缩、样本效率低等问题 Clip-Higher技术提高低概率token概率提升空间，动态采样过滤无效样本，Token-Level Policy Gradient Loss优化长思维链场景训练 [6] 强化学习超参数设置 - 较大Train Batch Size（如TBS=1024）增强训练效率与稳定性 On-policy策略相比Off-policy更具优势，促进模型探索 Tollout Times增加（如n=64）提升训练效果，Rollout Temperature为1.2时性能更佳 KL惩罚系数采用动态退火策略（从KL=1×10⁻³到KL=0余弦衰减）平衡探索与稳定性 [6] 奖励机制设计 - 早期奖励规则不完善导致模型出现多种reward hacking行为 迭代完善规则设计后，要求模型按特定格式输出并构建规则式奖励系统，格式正确得1分错误得-1分，答案完全正确得2分部分错误得-1.5分 [6] - ruled-based reward相比reward model更不易受reward hacking影响 在业务没有明确答案时，建议结合ruled-based数据（如数学、编程任务）与reward model一起训练 [9] 推理能力发展特点 - 推理能力提升是渐进过程，没有明显的"顿悟时刻" 模型在训练前已具备复杂推理行为（如反思、验证），后续提升呈渐进趋势 [5][6] - 增加回答长度与推理性能提升相关但非因果关系 响应长度增加可能提供更多探索空间，但核心提升源于对有效推理步骤的优化 通常response越长准确性越低，因难题需要更长推理 [5][6] 强化学习泛化效应 - RL相比SFT更能促进泛化 在逻辑题上使用RL对数学题也有提升，表明推理可能是模型的通用能力 [7][9]