Workflow
主动式上下文工程(ACE)
icon
搜索文档
微调已死?Agentic上下文工程登场,无需微调实现模型进化
36氪· 2025-10-11 03:53
技术核心与创新 - 提出主动式上下文工程(ACE)框架,使语言模型无需微调即可实现自我提升 [1] - 将上下文视为动态演化的“作战手册”,持续积累、蒸馏与组织策略,而非简短的摘要或静态指令 [6][7] - 引入生成器、反思器、整编器三种协作角色,分别负责生成推理轨迹、提炼洞见和整合结构化更新 [9][10] - 采用增量式Delta更新机制,通过局部编辑替代整体重写,降低延迟与计算开销 [11][13] - 引入Grow-and-Refine机制,在持续扩充上下文的同时抑制冗余,维持上下文的紧凑性与相关性 [11][14] 性能优势 - 在智能体任务(AppWorld基准)上,ACE使开源小模型性能提升高达17.1%,接近最强商用系统水平 [19][20] - 在金融分析任务(FiNER和Formula数据集)中,ACE平均性能提升8.6%,其中Formula数据集准确率提升18.0个百分点 [25][26] - 通过增量更新与轻量合并机制,ACE使适应延迟平均降低86.9%,离线场景延迟降低82.3%,在线场景延迟降低91.5% [28][29] - 消融实验表明,反思器与多轮蒸馏等组件对性能提升至关重要,移除后性能显著下降 [27][28] 行业应用潜力 - 上下文自适应正成为构建高性能、可扩展且具备自我改进能力的AI系统的核心范式 [2][3] - 该方法适用于智能体类任务和领域特定任务,特别是在需要保留细致、任务相关知识(如金融、法律分析)的场景中优势明显 [4][15][18] - 为传统模型微调提供了一种灵活且高效的替代方案,更新上下文比更新模型参数成本更低,并具备可解释性 [31][32] - 现代服务基础设施通过KV缓存复用等机制对长上下文负载进行优化,使得ACE等长上下文方法的实际部署成本有望进一步下降 [31]