思维链

搜索文档
Jason Wei也被小扎带走:思维链开创者、o1系列奠基人!这次真挖到OpenAI大动脉了
量子位· 2025-07-16 04:21
核心人才流动 - 思维链提出者Jason Wei从OpenAI转投Meta,成为o1系列模型关键人物流失的标志性事件[2][7][9] - 同期被挖走的还包括o1团队核心成员Hyung Won Chung(CodeX mini训练负责人)和赵盛佳[4][17][19] - 此次人才流失被行业视为对OpenAI技术研发体系的重大打击,涉及大模型涌现现象、指令调优等关键技术领域[8][14][15] Meta的挖角策略 - Meta通过"超级智能实验室"提供顶级资源:直接向扎克伯格汇报权限、无上限GPU算力支持[29][30] - 在建1GW+超级计算集群将成行业首个突破该规模的基础设施[30] - 扎克伯格公开强调吸引人才的核心是"构建终极AGI"的愿景而非金钱激励[29] OpenAI内部管理问题 - 员工规模在1年内从1000人激增至3000人,导致管理体系严重滞后[38][39] - Codex团队曾经历7周极限开发周期,工作强度达到"几乎无睡眠"状态[41][42] - 代码库存在严重质量问题,混合Google级工程代码与临时Jupyter Notebook,缺乏统一风格指南[44] - 前员工Calvin French-Owen指出公司尚未完成从初创到科技巨头的管理模式转型[45][46] 技术人才背景 - Jason Wei:达特茅斯CS本科,谷歌大脑时期发表思维链开山论文,参与PaLM模型涌现研究[11][13][15] - Hyung Won Chung:MIT CSAI博士,专攻大模型扩展瓶颈问题,JAX大规模训练系统构建者[20][21] - 两人均具有谷歌工作背景,在OpenAI共同主导o1和Deep Research项目[16][23]
草稿链代替思维链,推理token砍掉80%,显著降低算力成本和延迟
量子位· 2025-03-10 03:29
核心观点 - Zoom团队提出的"草稿链"(CoD)方法可替代传统思维链(CoT),显著降低推理token使用量80%-90%,同时保持准确率基本不变,某些任务中准确率甚至提升[1][2][8] - 该方法受人类解题过程启发,通过生成简洁、信息密集的中间token作为草稿,无需修改模型结构或训练流程,仅需更新提示词示例即可实现[3][4] - 在闭源黑盒模型上具有应用优势,相比"连续潜空间推理"等方法保留了可解释性[5] 技术原理 - 草稿链要求模型为每个推理步骤生成简洁且信息密集的token,类似人类解题时只记录关键中间结果[3][4] - 实现简单,无需模型微调或强化学习,仅需在提示词中更新示例,相关代码和数据已开源[4] 成本效益 - 相比思维链减少70%-90%的token使用量,直接降低推理成本[7] - 企业每月处理100万次推理请求时,成本从3800美元降至760美元,节省超3000美元[6][7] - 规模化应用后成本优势更显著,支持企业处理海量AI查询而不产生过高费用[7] 实验验证 算术推理(GSM8k数据集) - GPT-4o标准提示准确率53.3%,思维链提升至95.4%,草稿链保持91.1%[8][11] - Claude 3.5 Sonnet标准提示准确率64.6%,思维链提升至95.8%,草稿链保持91.4%[8][11] - 草稿链将token使用量从约200个/响应降至约40个,减少80%[9] - GPT-4o延迟降低76.2%,Claude 3.5 Sonnet延迟降低48.4%[10][11] 常识推理 - 日期理解任务中,Claude 3.5 Sonnet使用草稿链准确率从87.0%(思维链)提升至89.7%[12][13] - 运动理解任务中,GPT-4o草稿链准确率达98.3%,优于思维链的95.9%[13] 符号推理(抛硬币任务) - 草稿链在保持100%准确率的同时,GPT-4o token使用量从52.4个降至16.8个,延迟从1.4秒降至0.8秒[14][15] - Claude 3.5 Sonnet token使用量从135.3个降至18.9个,延迟从3.1秒降至1.6秒[15] 局限性 - 零样本设置下有效性显著下降,GPT-4o准确率从94.8%(思维链)降至84.4%,Claude 3.5 Sonnet从90.4%降至65.5%[16][17] - 参数量小于30亿的小模型上,与思维链性能差距更大[18] - 推测因训练数据缺乏草稿链风格推理模式,需few-shot样本指导才能生成有效草稿[19]