"我真的厌倦了看到那些急于求成的科技初创公司，为了讨好风投而在数据上撒谎，还贴上'SOTA'的标签。"有网友吐槽。 事情源于高人气开源智能体记忆项目 Mem0 在今年 4 月底发布的一篇论文。论文中，该项目团队为可扩展的、以记忆为核心的架构 Mem0 提出了增强版 本，并声称在 LOCOMO 上打败了所有人，其中，Mem0 在 "LLM-as-a-Judge" 指标上相较于 OpenAI 提高了 26%。（论文地址： https://arxiv.org/abs/2504.19413） 当地时间 8 月 13 日， 另一个高人气的智能体记忆框架 MemGPT 的创始团队 Letta AI ，其联合创始人兼 CTO Sarah Wooders 对此公开指控： 几个月前，Mem0 发布了 MemGPT 的基准测试数据，并声称在记忆方面达到了 "SOTA" 水平。 奇怪的是，我完全不知道他们到底是怎么跑这个基准测试的，如果不对 MemGPT 做重大修改，这个测试根本没法完成（他们没有回应我们关于实验具体 运行方式的询问）。 arXiv 并不是经过同行评审的平台，所以不幸的是，近年来公司可以随意发布任何他们想要的"研究 ...

行业争议 - Mem0团队在4月底发布的论文中声称其增强版本Mem0在LOCOMO基准测试中击败所有竞争对手，包括比OpenAI在"LLM-as-a-Judge"指标上提高26% [2] - Letta AI联合创始人Sarah Wooders公开指控Mem0未正确运行MemGPT的基准测试，且未回应关于实验具体运行方式的询问 [2] - 网友指出Mem0错误实现了竞争对手的方案，当Letta和Zep按正确方式运行基准测试后，得分比Mem0最佳成绩高出10% [3] - Letta团队通过简单文件系统工具就超过了Mem0的基准数据，质疑该基准测试本身的意义 [3] 公司背景 - Letta由UC Berkeley研究团队创立，其MemGPT系统借鉴操作系统理念管理智能体记忆层级，开源后获17.8k stars [5] - Letta获得1000万美元种子轮融资，估值7000万美元，投资方包括Felicis和谷歌Jeff Dean等 [6] - Mem0由印度工程师Taranjeet Singh和Deshraj Yadav创立，其开源框架Embedchain下载量超200万次 [7] - Mem0开源不到一天获9.7k stars，现累计38.2k stars，客户包括Netflix和Lemonade等 [8] 技术方案 - Mem0引入基于图的记忆表示，使用Neo4j图数据库，在LOCOMO测试中宣称响应准确率比OpenAI提升26%，延迟降低91%，token节省90% [11][13] - Letta认为记忆质量更多取决于智能体管理上下文能力而非工具本身，其测试显示仅用文件系统就达到74%准确率，高于Mem0的68.5% [20][21] - Letta指出智能体能自主优化搜索查询，如将复杂问题转化为关键词组合进行迭代搜索 [22] - Letta提出评估智能体记忆应关注整体任务表现而非单纯检索能力，推荐其Letta Memory Benchmark和Terminal-Bench [25] 行业现状 - 大模型受限于固定上下文长度，缺乏长期记忆能力，导致信息遗忘和复杂任务失效 [5] - 行业出现多种记忆解决方案，包括知识图谱和向量数据库等可插拔服务 [8] - 智能体记忆评估主要依赖LoCoMo等检索基准，而非真实记忆能力 [9] - 行业存在为吸引风投夸大功能甚至研究造假的现象，被批评为"空气产品"泛滥 [3]