大模型记忆技术发展现状 - 谷歌Gemini具备跨越多次对话的长期记忆能力，可从用户交流中提炼关键细节和偏好并主动调用[1] - OpenAI的ChatGPT早在2024年2月就已上线记忆功能，使用频率越多记忆力越好，GPT-6的核心改进也将聚焦记忆能力[3] - Anthropic的Claude能记住之前对话，允许用户无缝继续项目并参考之前讨论[3] - xAI的Grok在4月份实现多轮对话记忆，且记忆内容对用户透明可见并可选择遗忘[6] - 字节跳动联合浙大和上交发布多模态智能体M3-Agent，将记忆能力扩展到视频、音频等多模态数据[10] 记忆技术实现方式分类 - 上下文内记忆：将信息放入模型上下文窗口的短期记忆方式，受Transformer有限上下文窗口长度限制[17][18][19] - 外部记忆：通过检索增强生成(RAG)技术将信息存储在外部数据库的长期记忆方式，支持海量信息存储且无需重新训练模型[22][23] - 参数化记忆：将信息直接编码进大模型自身参数的深层"内化记忆"方式，检索速度极快但更新成本高昂[24][29][30] - 类人的分层式记忆：受认知科学启发设计的类似人脑记忆架构，分为记录具体事件的情景记忆和存储一般事实的语义记忆[31][35] 主要公司的记忆技术实现 - ChatGPT记忆功能：将用户记忆以结构化片段保存于服务器端，通过提示工程方式在生成回复时自动注入模型参考语境[42][44] - Claude记忆机制：只在用户要求时检索和引用过去聊天记录，不建立用户档案[44] - Gemini记忆功能：支持用户直接录入想要记住的内容[45] - MemGPT系统：使用专门记忆LLM智能体管理工作LLM上下文窗口，受传统操作系统分层内存系统启发[49][52] 记忆操作系统创新 - MemOS系统：将记忆看作与算力同等重要的系统资源，通过标准化MemCube记忆单元统一调度明文、激活状态和参数记忆[53][55] - MemoryOS系统：融合计算机操作系统原理与人脑分层记忆机制，构建段页式三级存储架构及四大核心模块[55] - MIRIX系统：将记忆细分为核心记忆、情景记忆、语义记忆、程序记忆、资源记忆、知识金库六类进行处理[57][59] 记忆结构化与多模态进展 - G-Memory系统：设计三层图式基于模型(洞察图、查询图和交互图)，支持定制化记忆视角与跨智能体语义映射[66][67][71] - 多模态记忆突破：Memories.ai提出"大视觉记忆模型"(LVMM)，能持续捕获、存储和结构化海量视觉数据[70] - M3-Agent架构：通过强化学习驱动的多轮推理与迭代记忆检索，实现无限信息处理和世界知识构建[70][75][78] 原生记忆能力探索 - Meta记忆层概念：通过键-值对检索机制实现关联存储与调用，记忆容量可达1280亿参数级别[77][80][81] - Branch-Train-MiX方法：通过创建多个专家模型在不同数据子集上训练，然后合并为MoE模块实现参数化记忆[83][92] - Yan 2.0 Preview模型：基于非Transformer架构，通过可微分"神经网络记忆单元"实现记忆的存储、检索和遗忘[85][87] 技术发展趋势 - 从功能模拟到结构仿生：向多模态与综合记忆系统演进，整合不同类型记忆模块形成多层次自适应综合记忆中枢[97][98][106] - 从孤立个体到记忆互联：智能体间实现共享记忆与协作，催生集体智能但面临信息不对称和集体隐私保护挑战[100][101] - 终极目标自动演化：实现记忆的自动演化，智能体能够根据环境互动自主学习管理和优化记忆，实现无需人工干预的终身学习[101][103]

"我真的厌倦了看到那些急于求成的科技初创公司，为了讨好风投而在数据上撒谎，还贴上'SOTA'的标签。"有网友吐槽。 事情源于高人气开源智能体记忆项目 Mem0 在今年 4 月底发布的一篇论文。论文中，该项目团队为可扩展的、以记忆为核心的架构 Mem0 提出了增强版 本，并声称在 LOCOMO 上打败了所有人，其中，Mem0 在 "LLM-as-a-Judge" 指标上相较于 OpenAI 提高了 26%。（论文地址： https://arxiv.org/abs/2504.19413） 当地时间 8 月 13 日， 另一个高人气的智能体记忆框架 MemGPT 的创始团队 Letta AI ，其联合创始人兼 CTO Sarah Wooders 对此公开指控： 几个月前，Mem0 发布了 MemGPT 的基准测试数据，并声称在记忆方面达到了 "SOTA" 水平。 奇怪的是，我完全不知道他们到底是怎么跑这个基准测试的，如果不对 MemGPT 做重大修改，这个测试根本没法完成（他们没有回应我们关于实验具体 运行方式的询问）。 arXiv 并不是经过同行评审的平台，所以不幸的是，近年来公司可以随意发布任何他们想要的"研究 ...

行业争议 - Mem0团队在4月底发布的论文中声称其增强版本Mem0在LOCOMO基准测试中击败所有竞争对手，包括比OpenAI在"LLM-as-a-Judge"指标上提高26% [2] - Letta AI联合创始人Sarah Wooders公开指控Mem0未正确运行MemGPT的基准测试，且未回应关于实验具体运行方式的询问 [2] - 网友指出Mem0错误实现了竞争对手的方案，当Letta和Zep按正确方式运行基准测试后，得分比Mem0最佳成绩高出10% [3] - Letta团队通过简单文件系统工具就超过了Mem0的基准数据，质疑该基准测试本身的意义 [3] 公司背景 - Letta由UC Berkeley研究团队创立，其MemGPT系统借鉴操作系统理念管理智能体记忆层级，开源后获17.8k stars [5] - Letta获得1000万美元种子轮融资，估值7000万美元，投资方包括Felicis和谷歌Jeff Dean等 [6] - Mem0由印度工程师Taranjeet Singh和Deshraj Yadav创立，其开源框架Embedchain下载量超200万次 [7] - Mem0开源不到一天获9.7k stars，现累计38.2k stars，客户包括Netflix和Lemonade等 [8] 技术方案 - Mem0引入基于图的记忆表示，使用Neo4j图数据库，在LOCOMO测试中宣称响应准确率比OpenAI提升26%，延迟降低91%，token节省90% [11][13] - Letta认为记忆质量更多取决于智能体管理上下文能力而非工具本身，其测试显示仅用文件系统就达到74%准确率，高于Mem0的68.5% [20][21] - Letta指出智能体能自主优化搜索查询，如将复杂问题转化为关键词组合进行迭代搜索 [22] - Letta提出评估智能体记忆应关注整体任务表现而非单纯检索能力，推荐其Letta Memory Benchmark和Terminal-Bench [25] 行业现状 - 大模型受限于固定上下文长度，缺乏长期记忆能力，导致信息遗忘和复杂任务失效 [5] - 行业出现多种记忆解决方案，包括知识图谱和向量数据库等可插拔服务 [8] - 智能体记忆评估主要依赖LoCoMo等检索基准，而非真实记忆能力 [9] - 行业存在为吸引风投夸大功能甚至研究造假的现象，被批评为"空气产品"泛滥 [3]

从 RAG 检索增强到多层级状态演化，AI memory 系统崛起 - AI memory 系统正从短期响应向长期交互演进，为智能体注入持续经验能力 [2] - MemoryOS 采用层次化存储架构，将对话 memory 分为短期、中期和长期三层，通过 FIFO 和分段分页机制实现动态迁移 [2] - MemGPT 借鉴操作系统思想，将固定长度上下文视为主内存，通过函数调用在主上下文和外部存储间分页调度，支持大文档分析和多轮会话 [2] - ChatGPT Memory 采用检索增强生成（RAG）方式，通过向量索引检索用户相关信息并注入模型输入，实现对用户偏好和历史信息的记忆 [2] - RAG 侧重外部知识库检索和静态知识注入，依赖向量索引 [2] - AI Memory 注重状态持续性，需维护多层级 memory 架构并管理时序与优先级，结合删除或压缩机制调度有限资源 [3] - RAG 与 Memory 可互补，RAG 增强知识性，Memory 固化对话经验和连贯性 [3] 从模态融合到隐私权限，AI memory 正面临哪些挑战 - AI memory 系统面临静态存储无法演化、多模态多 Agent 协同混乱、检索扩容冲突等技术挑战 [4] - 需解决层级和状态过滤缺失、企业级多任务权限控制、隐私可控性弱等问题 [4] - 挑战驱动 memory 系统向更智能、更安全、更高效方向演进 [4]

论文背景与核心观点 - 论文提出M+框架，旨在扩展MemoryLLM的长期隐空间记忆能力，将8B级模型的有效记忆跨度从不到20k tokens提升到160k tokens以上，同时保持显存占用不变[2][4] - 核心观点是探索隐空间(Latent-Space)的Memory，相比传统文本级记忆更紧凑且可端到端训练，更接近人类神经激活存储信息的方式[6] 现有记忆模型的缺陷 - 上下文窗口不等同于记忆，GPT-4.1等模型即使支持100万token也会导致显存与延迟线性升高[5] - 主流Token-Level Memory方法存在三大问题：(1)原始文本冗余度高 (2)文本级冲突消解复杂 (3)多模态处理能力弱[5] M+的技术创新 - 在MemoryLLM基础上为8B Llama3模型引入1.67B Memory，每层加入12800个Memory Tokens作为Prefix通过Cross-Attention注入信息[8] - 采用协同提取器(Co-trained Retriever)从CPU侧长期记忆池检索信息，联合训练后记忆跨度从50k提升至160k[16][18] - 更新机制中保留被丢弃的Memory Token至长期记忆池，新生成Token替换旧Token完成更新[11][14] 性能表现 - GPU显存占用仅21,177.76MB，低于对比模型Llama-3.1-8B-SnapKV(32,574.49MB)和Llama-3.2-3B-128k(30,422.70MB)[19] - 在SQuAD数据集上展现超强信息留存能力，160k tokens后仍不完全遗忘历史信息[20] 未来方向 - 研究重点包括更高效存储机制、更智能检索策略及多模态融合的隐空间记忆架构[22] - 技术路线不仅扩展MemoryLLM，更致力于实现接近人类记忆能力的语言模型[22]