文章核心观点 - 在大模型驱动的数据应用Agent领域，科学、准确地评估应用效果是行业面临的关键挑战，公司通过构建覆盖技术选型、研发迭代和业务效果的三层评测框架，并创新性地采用基于语义等价的自动化评测方法以及“用Agent评测Agent”等技术，以解决传统评测方法的局限，提升评估效率和准确性，最终驱动产品迭代与优化 [2][5][17][37] 大模型应用评测的通用挑战与方法 - 大模型评测复杂度高，核心挑战在于如何贴切评价应用实际效果以及如何在传统技术不足处进行创新 [5] - 评测需关注三个核心维度：效果（包括事实性、有用性、有害性）、性能与推理性能（如首Token时延、生成速度、资源消耗）、以及稳健性（容错、抗攻击能力） [8] - 当前常见评测方法包括人工评测、自动化评测（如客观题匹配、文本相似度比较、基于排序的评估）以及人机协同评测 [9] - 通用评测的痛点包括：静态评测与线上实际效果脱节、针对模型单一能力的评测无法反映综合业务能力、以及评测集难以跟上业务和用户行为的快速变化 [10] 数据应用Agent领域的垂直评测难点 - 领域特殊性带来挑战，例如早期大模型训练语料中SQL占比低，导致其SQL生成能力较弱，而数据领域的“正确性”要求极其关键 [14][15] - 数据Agent产品形态复杂，如“深度研究”涉及多维度分析，评估需从单一能力扩展到覆盖数据源差异、数据异构性等复杂因素 [15] - “效率”与“研发并发”非常关键，评测效率直接影响研发周期，快速判断方案优劣能带来显著差异 [16] 三层评测框架体系 - 公司为构建大模型Agent应用设计了三层评测体系：最下层是技术选型评测，用于筛选达标模型；中间层是研发迭代中的组件（子Agent）评测，类似“单元测试”；最上层是端到端的业务效果评测 [17][18] - 在基础能力评测层面，针对数据领域关注工具调用、数值计算、表格理解、数据幻觉控制、复杂指令遵循及Text-to-SQL等能力，并接入如ComplexFuncBench、HumanEval、SWE-Bench等开源Benchmark [20] - 在组件评测层面，将Agent工作流程拆解为召回、理解与规划、洞察分析与执行、结果总结等阶段进行独立评估，以定位问题根源 [20] - 在端到端效果评测层面，针对特定业务场景构建评测集，并设有“数据与飞轮”模块对接线上日志，用于案例研究、回归测试集沉淀和人工标注 [21] Data Agent评测技术创新与实践：Text-to-SQL - Text-to-SQL是数据Agent的核心任务，传统评测方法（如Spider、WikiSQL、BIRD-SQL数据集）在真实业务环境中存在适配性与可扩展性问题 [25][26] - 传统“执行正确性”比对易产生误判，因测试数据分布不完备可能导致“非等价SQL执行结果相同”；而基于文本相似度的比较则难以准确反映语义逻辑等价 [26][27] - 公司提出基于语义等价的评测方法，将SQL转化为抽象语法树（AST），并借助Apache Calcite下推为执行层语法表示（RelNode），以抹平写法差异，判断逻辑含义是否相同 [29] - 进一步采用图匹配网络（Graph-Matching Network, GMN）在语法树上进行局部匹配（RelPM），计算SQL相似度，该方法在效果上显著优于传统基于执行正确性、文本相似度或BERT模型的方法 [30] Data Agent评测技术创新与实践：深度研究 - “深度研究”类Data Agent的评测更为复杂，需评估报告对业务的有用性、推理思路的合理性、内容的完整性以及建议的有效性等多维度 [31][32] - 公司为此定义了一套评测体系，从分析与洞察的深度与准确性、报告展示的可读性与易读性、执行过程的稳定性与成功率等角度设定分层评估维度和关键指标 [33][34] - 在自动化评估技术上，创新性地采用“用Agent来评测Agent”的方法，其可行性基于三个前提：挑错比做对容易、可以复盘过程进行逐步审阅、以及能做定向优化 [37] - 实现技术包括自我反思（模型打分后检查逻辑完整性）和多Agent协作架构，让多个Agent从不同角度打分，并由“裁判长”统一审阅，同时结合ReAct让评测侧能写代码复算关键数据 [38][39] - 自动化评测在事实性错误上展现出高召回率与准确性，在案例中，机评对事实性错误的召回率超过88%，准确性达到86%，能有效用于研发迭代中的版本比较 [44] - 机评在定位数据错误（如SQL缺少GROUP BY导致结论无来源）和分析意图完成度评估（如自动计算完成比例并标注缺失项）等具体场景中效果显著 [41][44] 评测平台与工具支撑 - 公司搭建了面向数据评估的统一平台，覆盖数据集管理、自动化与人工评测、指标分析、结果归因等完整流程，并提供“数据飞轮”机制持续沉淀线上案例为评测集 [45] - 平台提供一系列常用评测算子（基于规则或大模型），业务方可自行编排这些“原子算子”实现自定义分析逻辑 [45] - 平台设计了“评估工作流”模块，支持以可视化方式快速搭建评估流程，高效复用算子，提升了评测效率 [45][46] 自动化评测的未来展望 - 未来需进一步完善评测维度和体系，加强多模态能力利用，优化数据集，并通过有效采样、时效性校验等手段解决线上与线下评测的一致性问题 [48] - 倡导“评估驱动开发”（EDD），将评估更好地分解到Agent架构的各个环节，建立最终业务指标与过程性指标的有效关联 [49] - 探索用自动化评测反向驱动模型训练流程（如SFT、强化学习），并与人类判断对齐 [49] - 目标是让自动化评估结果能更快、更高效地生成对应用改进的建议，直接服务于产品迭代，帮助业务方判断需求满足度，并支持开发者进行更高效的技术方案探索 [49]