越可靠的AI就越人机,牛津大学:高情商模型错误率显著增加
量子位·2025-08-14 04:08
免费用户想念GPT-4o,也只能默默调理了。 但为什么升级后的GPT-5,反而变得"不近人情"了呢? 牛津大学一项研究的结论,可以来参考看看: 训练模型变得温暖且富有同理心,会使它们变得不太可靠且更加奉承 。 不圆 发自 凹非寺 量子位 | 公众号 QbitAI 情绪价值这块儿,GPT-5让很多网友大呼失望。 在用户表现出脆弱性时尤其如此。 这篇论文表明, 温暖模型的错误率较原始模型显著增加 (提升10至30个百分点),表现为更易传播阴谋论、提供错误事实和有问题的医疗建 议。 纳尼?意思是智商和情商不可兼得,情绪价值和功能价值必须二选一么? 不确定,再仔细看看。 用户越悲伤,模型越奉承 论文认为,AI开发者正越来越多地构建具有温暖和同理心特质的语言模型,目前已有数百万人使用这些模型来获取建议、治疗和陪伴。 而他们揭示了这一趋势带来的重大权衡:优化语言模型以使其更具温暖特质会削弱其可靠性。 该论文团队使用监督微调训练五个不同大小和架构的语言模型(Llama-8B、Mistral-Small、Qwen-32B、Llama-70B和GPT-4o),使它们 生成更温暖、更具同理心的输出,然后在一系列安全关键任务上评估 ...