Hope 架构
搜索文档
谷歌新架构逆天,为了让AI拥有长期记忆,豆包们都想了哪些招数?
36氪· 2025-12-09 00:48
文章核心观点 - 大模型的长期记忆能力正从依赖外部工程补丁(如RAG)演变为其核心能力坐标轴,并开始内化到模型架构与智能体工作流中,这决定了模型能否成为可长期信赖的“助手”或“智能体” [2][5][21] 大模型长期记忆的技术演进与架构创新 - 谷歌Titans架构明确将Transformer的自注意力机制界定为“短期系统”,并引入独立的神经长期记忆模块来选择性存储和调用跨上下文的关键信息,重新定义了大模型的“大脑结构” [4] - 谷歌在Titans基础上进一步提出HOPE架构,将模型训练过程也视为一层记忆,构建多时间尺度的连续学习系统,使短期上下文、中期状态与长期经验不再割裂 [10] - 字节跳动与清华大学联合提出的MemAgent通过强化学习训练模型在超长上下文中“学会取舍”,让模型主动形成长期记忆习惯,而非被动堆叠文本 [12][17] - 长期记忆的重心正从“记住文本”转向“记住经验”,并需参与推理过程以影响模型的决策和行为,谷歌的Evo-Memory benchmark和ReMem框架旨在考察智能体在连续任务中提炼并复用经验的能力 [12] 行业产品化应用与趋势 - 2025年,几乎所有头部AI助手(如谷歌Gemini、ChatGPT、豆包、讯飞星火X1.5)都通过引入“长期记忆模块”,实现跨会话、跨场景的连续性,记忆用户偏好、项目背景等以实现主动个性化回答 [6] - 行业实践强调对“过程信息”(如用户画像、任务状态、阶段性结论、失败经验)的保留,长期记忆被拆分并融入整个智能体工作流 [13] - 超长上下文窗口(如百万至数百万token)被视为一种“放大的短期记忆”,成本高且无法判断信息长期价值,其意义正从单纯扩展容量转向为系统简化服务 [10][18] 中国公司的不同技术路线 - **MiniMax**:年初开源线性注意力架构大模型,将可处理上下文推至百万乃至数百万token级别,试图以容量换取系统简化,减少频繁的外部记忆调度;在此基础上引入独立记忆层管理长期知识与经验 [17][18][20] - **豆包**:其长期记忆被拆分进整个Agent工作流,用于保存用户画像、任务状态、阶段性结论及失败经验 [13] - **DeepSeek**:策略是将长期记忆明确外置,通过RAG、向量库等组件完成,基于不同应用场景记忆形态差异巨大的判断,提供高质量推理核心供开发者自行组合记忆方案,而非在模型内“一刀切” [20]