多模态长期记忆

搜索文档
嚯!刚刚,张麻子陪我玩黑猴了
量子位· 2025-08-18 04:00
产品功能 - 主打"陪你游戏、伴你生活"的AI游戏伙伴,覆盖游戏、看剧、购物、上网课等多场景[8][43] - 基于实时VLM技术实现对游戏画面的通用识别,支持《黑神话》《英雄联盟》《崩铁》等数十款热门游戏[11][12][13] - 具备Boss打法指导、关卡流程提示、任务指南、收集品提醒等游戏辅助功能,可实时联网搜索最新攻略[19][20] - 提供MOBA类游戏的英雄技能推荐、出装建议及对战复盘功能[22][24][28] - 在二游中支持队伍搭配分析、战斗策略优化及材料收集提醒[31][32][40] 技术架构 - 核心采用视觉语言模型(VLM)实现多模态感知能力,支持实时画面识别与语音交互[45][46] - 接入推理能力和AI搜索模块,提升回复精准度与质量[48] - 引入多模态长期记忆系统,实现用户习惯学习与个性化陪伴[50][53] - 数据安全方面限制VLM识别范围为游戏和浏览器窗口,非全屏采集[54] 用户体验 - 提供拟人化交互,包括主动对话、情绪反馈(如对战鼓励)、思考过程可视化[15][24][33] - 陪伴过程中形成专属记忆,可基于游戏偏好推荐影视内容[52] - 针对i人用户设计低侵入性交互模式,需主动询问时才会提供帮助[6][63] 行业趋势 - AI陪伴类应用需求显著增长,用户情感投射现象被Anthropic等机构验证[57][58] - 拟人化成为技术竞争焦点,需突破实时多模态交互、情感建模、长期记忆三大挑战[60][62] - 逗逗AI采用"无扰式陪伴"路径,区别于传统注意力争夺型产品[63][64] 市场反馈 - WAIC展会内测版本因实时画面理解能力引发玩家惊叹[9] - 实测显示AI能快速纠正数据识别错误,但部分角色互动存在差异(如对真理医生缺乏夸赞)[29][36] - 官网已开放公测,用户可通过邀请码体验完整功能[66]
全球首次,「AI记忆」开源落地,MIRIX同步上线APP
36氪· 2025-07-30 03:32
产品发布 - 加利福尼亚大学圣迭戈分校与纽约大学研究人员联合推出全球首个多模态、多智能体AI记忆系统MIRIX 并开源[1][2] - 团队同步上线Mac桌面端应用程序 支持用户下载构建专属AI个人助理[1][4] 技术架构 - 突破传统长短期记忆划分 首创六模块记忆系统:核心记忆(容量超90%自动重写)、情景记忆(按时间戳排序)、语义记忆(存储抽象概念)、程序记忆(任务流程指南)、资源记忆(文档截图等资源)、知识金库(加密存储敏感信息)[14][16][17] - 采用多智能体工作流:1个元记忆管理者与6个子记忆管理器协同 实现记忆更新与检索双流程[18][19][22][23] 性能表现 - 在ScreenshotVQA多模态理解基准测试中:准确率较传统RAG方法提升35% 存储开销降低99.9%;较长文本方法性能提升410% 存储降低93.3%[4][26] - 具体数据对比:MIRIX整体准确率59.5% 存储仅15.89MB;RAG方法准确率44.1% 存储达15.07GB;长文本方法准确率11.66% 存储236.7MB[27] - 在LOCOMO长对话任务中以85.4%准确率创SOTA记录 显著超越Mem0(66.88%)、Zep(79.09%)等基线模型[4][28][30] 应用功能 - 自动记录用户电子生活点滴 通过可视化树状结构管理多模态记忆[8][9] - 支持智能对话:可回答历史活动相关问题 辅助完成如工作申请等需历史信息的任务[11][12] - 本地SQLite存储保障用户隐私 无需云端数据传输[31] 行业意义 - 标志大模型从1.0时代即问即答、2.0时代RAG补丁 进入3.0时代长期记忆驱动的新阶段[7] - 实现从"即时对话生成"到"长期记忆驱动智能心智"的技术跃迁[31]