LLM工业级自进化:北邮与腾讯AI Lab提出MoE-CL架构,解决大模型持续学习核心痛点
在工业级大语言模型(LLM)应用中,动态适配任务与保留既有能力的 "自进化" 需求日益迫切。真实场景中,不同领域语言模式差异显著,LLM 需在学习新场景 合规规则的同时,不丢失旧场景的判断能力。这正是大模型自进化核心诉求,即 "自主优化跨任务知识整合,适应动态环境而无需大量外部干预"。 为解决此问题,北邮百家 AI 团队与腾讯 AI Lab 团队提出参数高效的对抗性混合专家架构 MoE-CL,专门用于 LLM 的自进化持续指令微调。其核心设计在于 "解 耦 LoRA 专家" 与 "GAN 对抗降噪" 的结合:为每个任务配置专属 LoRA 专家以保留任务特定知识,避免参数更新相互干扰;同时设置共享 LoRA 专家,通过生成 对抗网络(GAN)中的任务感知鉴别器抑制无关噪声,确保跨任务知识高效且精准传递,最终实现 "知识保留" 与 "跨任务泛化" 的平衡,这也是 LLM 自进化的核 心逻辑。 从实验效果来看,MoE-CL 的自进化能力已在实际场景与基准测试中得到验证。在腾讯真实业务场景 A/B 测试中,它将人工介入成本降低 15.3%;在公开 MTL5 跨域基准与工业级 Tencent3 基准测试中,其平均准确率 ...