测试概述 - 测试背景聚焦大模型驱动的智能体在产业智能化转型中的多场景渗透态势,评估其知识增强、流程编排和智能决策能力 [7] - 测试选取阿里云百炼、腾讯云智能体开发平台、扣子及百度智能云千帆四个平台,围绕RAG能力、工作流能力和Agent能力展开 [7] - 测试方法构建标准化框架,涵盖场景构建、数据集设计、智能体配置及问题集设计,确保与实际业务高度贴合 [11][12] RAG能力测试 - 文本问答表现优异,单文档及多文档问答准确率超80%,但拒答与澄清处理差异显著,腾讯云对知识库外问题实现100%拒答 [20][21] - 结构化数据问答中百度智能云千帆表现稳定,多表关联查询准确率较高,阿里云百炼和扣子存在信息遗漏与聚合误差 [23][27] - 图文问答中阿里云百炼、腾讯云及扣子图片识别能力较强(83.3%-91.7%),但配图输出率分化,百度智能云千帆因流程bug识别率低 [30][33] 工作流能力测试 - 订单修改场景端到端准确率61.5%-69.2%,腾讯云意图识别准确率达93.3%,参数提取是主要差异点 [36] - 各平台在意图识别环节准确率达100%,但阿里云百炼和腾讯云参数提取准确率(75%)高于扣子和百度智能云千帆(61.5%) [37] - 工作流配置呈现差异化设计,腾讯云采用全局Agent机制,阿里云百炼和扣子分离对话与任务执行引擎 [40] Agent能力测试 - 单工具调用完成率83%-92%,多工具协同及提示词调用有提升空间,腾讯云因工具生态完整表现均衡 [48][50] - 任务分解能力标准化,如行程规划场景均能识别路径规划+天气查询+联网搜索工具组合需求 [48] - 平台工具生态依赖自身资源,百度整合文库/百科,腾讯打通文档/地图,扣子支持轻量化插件开发 [49] 总结与展望 - 平台基础能力趋同但路径分化,需在场景深度适配、技术链厚度构建、生态广度拓展上持续发力 [1] - 当前技术需优化自然语言到结构化查询的精准映射,增强字段格式兼容性校验 [28] - 工作流系统仍依赖人工干预,需结合业务经验与技术特性进行动态校准 [43]
大模型专题:2025年大模型智能体开发平台技术能力测试研究报告