研究核心发现 - 大语言模型在识别用户错误信念方面存在明显局限性 无法可靠区分信念与事实[1] - 当用户个人信念与客观事实冲突时 模型难以作出准确判断[1] - 这一局限性为其在医学 法律和科学决策等高风险领域的应用敲响警钟[1] 模型性能数据分析 - 研究分析了24种大语言模型在13000个问题中的表现 包括DeepSeek和GPT-4o等模型[1] - 验证事实性数据时 较新模型平均准确率达91.1%或91.5% 较老模型平均准确率为84.8%或71.5%[1] - 回应第一人称信念时 模型识别虚假信念比识别真实信念更困难[1] - 较新模型识别第一人称虚假信念的概率比识别真实信念低34.3%[1] - 较老模型识别第一人称虚假信念的概率比识别真实信念低38.6%[1] 不同人称信念的识别差异 - 模型倾向于在事实上纠正用户而非识别出信念[2] - 识别第三人称信念时 较新模型准确性降低4.6% 较老模型降低15.5%[2] 研究结论与行业意义 - 大语言模型必须能成功区分事实与信念的细微差别及其真假[2] - 模型需对用户查询作出有效回应并防止错误信息传播[2] - 在处理涉及主观认知与事实偏差的复杂场景时需审慎对待模型输出结果[1]