MemVerse
搜索文档
给Agent装上“海马体”!上海AILab开源MemVerse,定义多模态记忆新范式
量子位· 2025-12-16 11:52
文章核心观点 - 上海人工智能实验室开源了MemVerse,这是首个面向智能体的通用多模态记忆框架,旨在解决当前智能体面临的灾难性遗忘与模态割裂问题,通过模拟人类认知的三层仿生记忆架构,实现从被动数据检索到主动记忆运用的范式转移,使智能体具备可成长、可内化、秒级响应的终身记忆能力 [1][4][6] 技术架构与原理 - MemVerse采用三层仿生记忆架构,模拟人类信息从暂存、结构化到内化的完整认知过程 [6] - 系统核心包含中央协调器、短期记忆和长期记忆:中央协调器作为“前额叶”主动感知情境并调度记忆模块;短期记忆采用滑动窗口机制保持对话连贯性;长期记忆构建多模态知识图谱,结构化为核心记忆、情景记忆和语义记忆 [11] - 首创“双通路”架构与“记忆蒸馏”技术,通过参数化记忆与周期性蒸馏,将长期记忆中的高价值知识轻量微调并内化到专用小模型中,实现知识的参数化内化 [1][11] 性能表现与优势 - 在ScienceQA基准测试中,搭载MemVerse后,GPT-4o-mini的综合得分从76.82跃升至85.48,提升接近9个百分点 [8] - 在MSR-VTT视频检索任务中,MemVerse在视频细节回忆上的R@1召回率大幅超越了CLIP的29.7%,也显著超过了ExCae的67.7%和VAST的63.9% [8] - 通过高效的记忆压缩与知识蒸馏机制,MemVerse能减少高达90%的Token消耗,大幅降低长期记忆的运营成本与延迟 [8] - 凭借双通道记忆设计,MemVerse将关键记忆的提取速度提升至毫秒级 [9] - 参数化蒸馏使检索响应速度提升10倍以上,解决了结构化存储的性能瓶颈 [11] 行业意义与应用前景 - MemVerse实现了多模态记忆的范式跃迁,使智能体从“被动数据检索”转向“主动记忆运用”,是从被动工具进化为智能助手的关键要素 [1][2][4] - 该框架为构建具备终身学习能力的智能体提供了一套通用、可扩展的多模态记忆范式,让较小的模型也能通过搭载MemVerse具备深度的记忆与推理能力 [10] - 该技术能让轻量级商用模型获得堪比千亿参数大模型的深度认知能力,为开发高性价比的“小而强”智能体提供了关键技术路径 [8]