大模型快慢思考模式

搜索文档
快慢思考不用二选一!华为开源7B模型实现自由切,精度不变思维链减近50%
量子位· 2025-09-10 08:01
模型核心创新 - 华为发布openPangu-Embedded-7B-v1.1开源模型 参数规模7B 突破性实现快思考与慢思考模式的双重思维引擎自由切换 填补开源领域空白 [1][3] - 模型通过渐进式微调策略和快慢思考自适应模式 支持手动切换或根据问题难度自动转换思维模式 简单问题秒答复杂任务深思熟虑 [3][4][15] - 在CMMLU等基准测试中保持精度的同时 平均思维链长度缩短近50% 响应效率实现翻倍提升 [4][18] 训练策略突破 - 采用渐进式微调策略 模拟人类进阶学习过程 通过三阶段迭代训练:合理选题保持适度挑战→归纳总结稳固知识→持续提升扩展能力边界 [5][8][9][10] - 快慢自适应机制采用两阶段课程学习:第一阶段通过数据构造教会模型区分快慢思维 第二阶段通过数据质量驱动策略让模型自主学会切换 [11][13][14] - 训练方案从数学任务扩展到一般任务 实现从外部信号驱动到内部能力驱动的隐式切换蜕变 [11][14] 性能表现数据 - 相较前代v1版本 新模型在通用 数学 代码等数据集全面超越历史成绩 数学难题数据集AIME24从71.57提升至79.38 AIME25从58.24提升至70.00 [16][17] - 自适应模式下复杂任务准确率与纯慢思考模式基本持平 CMMLU准确率72.94vs72.18 C-Eval准确率84.92vs83.33 精度未牺牲 [17][19] - 效率提升显著:CMMLU任务思维链长度从2574缩短至1338 降幅48% C-Eval任务从2484缩短至1723 降幅31% [19] 边缘AI部署优化 - 同步推出专为边缘部署优化的openPangu-Embedded-1B轻量模型 仅十亿参数 针对华为昇腾端侧AI硬件架构优化 [20][21] - 1B模型整体平均成绩领先同规模模型 追平Qwen3-1.7B水平 MMLU达65.08 GSM8K达82.76 MATH-500达81.83 [22][23] - 通过多阶段训练策略全面挖掘模型潜力 实现小体量大能量 体现出色参数级性能比 [21][22] 行业意义 - 为当前大模型领域带来新思路 在效率与精度间找到平衡点 展现国产大模型创新活力 [23][24] - 具备快慢思考特性的模型有望在更多实际应用场景发挥价值 尤其适合资源受限的边缘部署场景 [24][25]