Workflow
AI里最大的Bug,却也是人类文明最伟大的起点
创业邦·2025-09-09 10:11

AI幻觉的根源与本质 - OpenAI最新研究揭示AI产生幻觉的根本原因在于训练机制系统性地奖励猜测行为而非诚实回应[16] 模型在未知问题上的猜测策略具有正向期望收益 即使蒙错也不损失分数 而沉默则意味着零收益[20][22] - 在SimpleQA测试中 o4-mini模型以75%错误率和仅1%弃权率换取24%准确率 而gpt-5-thinking-mini模型以52%弃权率和26%错误率获得22%准确率 证明高分模型通过大量猜测实现[25][31] - 训练机制使幻觉成为AI在现有评估体系下的最优应试策略 而非技术缺陷[32] 幻觉产生的技术机理 - 孤例率(Singleton rate)概念指出 当信息在训练数据中仅出现一次时 AI判断真假的错误率显著提升[35] - 类比说明:区分猫狗可基于特征规律 但记忆随机生日需完全依赖机械记忆 后者更易产生幻觉[35] - 文本生成本质是复杂概率计算 而Is-It-Valid(IIV)二元分类框架简化了有效性判断过程[34] 关于幻觉的反常识结论 - 100%准确率不可能实现 因部分问题本身无解 信息缺失或逻辑矛盾必然存在[36] - 幻觉非不可避免 关键在模型需学会在不确定时"认怂"而非硬猜[36] - 大模型未必更可靠 小模型面对超出知识范围问题反而更诚实[36] - 现行评估体系普遍奖励猜测行为 专项测试工具无法解决系统性激励问题[37] 幻觉的哲学意义与价值重估 - 人类文明起源与AI幻觉具相似性:智人通过神话解释未知现象 集体幻觉催生文明基石[40][41] - 创造性猜测能力是人类区别于动物的核心 推动科学艺术发展 哥白尼日心说和爱因斯坦相对论均源于超越事实的想象[41] - AI幻觉在需要绝对真实领域(医疗/财务)有害 但在创造性领域(诗歌/绘画/故事构思)具核心价值[42] - 终极矛盾在于既要求机器般严谨又渴望人类般浪漫 需重新平衡真实性与创造力需求[42]