产品表现与挑战 - 亚马逊AI生产力工具Q Business在首年表现“喜忧参半”,在关键功能上“显著”落后于竞争对手[1] - 产品在处理表格和电子表格数据方面存在困难,导致包括埃森哲、Intuit和Smartsheet在内的客户投诉[1] - 对话能力是主要问题,其对话体验“显著”落后于Perplexity等竞争对手,经常返回“不完整”的回复[12] - 信息检索不可靠导致错误答案,例如Intuit无法访问自定义元数据,埃森哲报告分析架构图存在问题,Asana在搜索中检索到不相关文档[11] - 准确性问题部分归因于“匆忙”的发布,以及准确率团队去年至少经历6次产品经理变动,工程和数据团队缺乏“足够资源”[3][13] 改进措施与更新 - 公司在2月创建了一个正式的准确率计划以应对挑战[14] - 4月推出了“幻觉缓解”功能,7月推出了旨在实现更一致通信的回复定制工具,8月增加了代理检索增强生成系统以提供更准确全面的答案[14] - 公司表示这些更新带来了改进的聊天体验和更强大的查询应答引擎[15] - 对于文本丰富的数据,Q Business达到了90%的准确率,并加快了处理客户投诉的时间[19] 客户反馈与市场定位 - 包括纳斯达克、捷普和Availity在内的客户分享了积极反馈[16] - 纳斯达克使用该工具通过简单点击和数据连接快速构建AI应用,帮助改进其监管合规审查[17] - 捷普通过Q Business创建了一个内部“Ask Me How”工具,使操作员能自行解决问题,减少停机时间,无需等待技术人员[18] - 公司内部对其在商业应用领域的记录存在疑虑,有观点认为其专长更在于云基础设施而非面向客户的软件[19] - 公司正在重新思考销售策略,采取更基层的方法,但发言人反驳称AWS在基础设施之外也取得了成功,并列举了Bedrock、Connect和SageMaker等例子[20]
Amazon internal review found its AI tool Q fell 'significantly' behind rivals on accuracy in its first year