行业技术范式演进 - 扩散语言模型已成功扩展至千亿参数规模，由蚂蚁集团与多所大学组成的联合团队发布的LLaDA2.0-flash模型参数量高达100B，这是该领域前所未有的规模[1] - 长期以来，自回归生成范式占据主导，但其存在长文本生成计算成本高、推理速度慢、难以修正前期错误导致误差累积等固有弊端[7] - dLLM的成功扩展证明了自回归范式之外的另一条技术路径的可行性，其演进呈现“多线并进”的特点，包括从头训练和从成熟AR模型迁移等不同路线[9] 模型性能表现 - 在涵盖知识、推理、编码、数学、智能体与对齐的47个基准测试中，100B参数的LLaDA2.0-flash平均得分73.18，与强自回归模型Qwen3-30B-A3B-Instruct-2507的73.60分基本持平[4] - LLaDA2.0-flash在编码和智能体等复杂任务上优势显著，例如在HumanEval测试中得分94.51，在MBPP测试中得分88.29，在BFCL v3智能体测试中得分75.43[4][35][37] - 16B参数的LLaDA2.0-mini综合得分64.34，接近同级别AR模型Ling-mini-2.0的65.77分，并在SQuAD 2.0阅读理解和HumanEval代码生成等任务上超过对标模型Qwen3-8B[34] 技术实现路径与创新 - 将dLLM“做大做强”是公认难题，此前方法包括从头训练、从预训练AR模型迁移以及后训练阶段努力，但规模多限制在30B以下或面临训练效率等挑战[15][16] - LLaDA2.0没有选择从头训练，而是提出一套系统性解决方案，将已有AR模型平滑地转化为扩散模型，其核心是构建分段式、可扩展的训练体系[18] - 该训练体系首先通过持续预训练将AR基座模型重建为掩码扩散语言模型，然后引入块扩散预训练以增强长程一致性和计算效率，最后通过后训练对齐人类意图[18][19] - 持续预训练采用Warmup–Stable–Decay策略，逐步调整块大小（从1到4096再衰减至适合推理的尺寸如32），并引入文档级注意力掩码和Top-k检查点融合以保障训练稳定性和模型稳健性[22][23] 后训练与工程优化 - 后训练包括三个核心环节：监督微调、置信度感知并行训练和直接偏好对齐，通过协同优化实现能力塑造、推理效率提升与人类偏好对齐[25][26] - 在工程基础设施上，预训练阶段结合多种并行策略，并为块扩散训练引入基于cuDNN的注意力实现，在训练LLaDA2.0-mini时实现了1.3倍以上的端到端加速和90%以上的注意力层显存节省[27] - 推理阶段对框架进行改造以支持块扩散，并优化KV-cache复用，LLaDA2.0-flash-CAP在多项基准测试中达到535 TPS，相较于基线AR模型实现最高2.1倍的推理加速[31] 行业影响与未来展望 - LLaDA2.0系列模型的出现为扩散语言模型领域注入了强心剂，其“将成熟AR大模型平滑过渡到扩散框架”的思路表明不同生成范式可以串联、融合与相互继承[39] - 该模型的成功表明扩散语言模型是一条可扩展且有竞争力的技术路线，在通用基准上快速缩小与AR模型的差距，并在代码生成、工具使用等复杂任务上展现出超越潜力[38] - 行业内有越来越多的玩家正在入场，包括科技巨头，尽管dLLM在更大规模、更高效强化学习与推理范式等方面仍有难题待攻克，但技术方向已经明确[40][42]

扩散语言模型(dLLM)的技术突破与规模化 - 蚂蚁集团与人大、浙大、西湖大学联合团队推出了千亿参数规模的扩散语言模型LLaDA2.0-flash，总参数量高达100B，这是该领域前所未有的规模[1] - 该系列模型采用MoE架构，包含16B参数的LLaDA2.0-mini和100B参数的LLaDA2.0-flash两个版本[1] 模型性能表现 - LLaDA2.0-flash在涵盖知识、推理、编码、数学、智能体与对齐的47个基准测试中平均得分73.18，与强自回归模型Qwen3-30B-A3B-Instruct-2507的73.60分基本持平[5] - 在编码和智能体等复杂任务上优势显著，例如在HumanEval、MBPP、BFCL等任务上表现突出[5] - LLaDA2.0-mini综合得分64.34，接近同级别自回归模型Ling-mini-2.0的65.77分，并在SQuAD 2.0阅读理解和HumanEval代码生成等任务上超越了Qwen3-8B[37] - LLaDA2.0-flash在编码任务上展现出更明显优势：HumanEval得分94.51，MBPP得分88.29，MultiPL-E得分74.87，均高于自回归对手，其Agent能力（BFCL v3）得分也达到75.43[39] 自回归模型的固有弊端与扩散模型的优势 - 自回归生成范式存在长文本生成计算成本高、推理速度慢、难以捕捉token间双向依赖关系等固有弊端[7] - 一旦前期生成内容出错无法直接修正，会导致误差累积[7] - 扩散语言模型支持在多个位置并行生成，且已生成内容可以修改[11] dLLM规模化发展的技术路径 - 行业探索了三种主要路径：从头开始训练、从训练好的AR模型迁移继承、后训练阶段的努力[16][17] - 从头训练的dLLM受限于数据量、基础设施和成本，规模通常较小（≤8B），性能仍落后于先进AR模型[16] - 从AR模型迁移的方法（如DiffusionLLaMA、Dream-7B等）此前也未突破30B规模，且训练效率不高[17] - LLaDA2.0选择了将已有AR模型“平滑地”转化成扩散模型的路径，并在此基础上进行大规模训练与对齐[20] LLaDA2.0的核心技术方案 - 构建了分段式、可扩展的训练体系：首先通过持续预训练将AR基座模型重建为掩码扩散语言模型；接着引入块扩散预训练，增强生成长程一致性和计算效率；最后通过后训练使模型具备更强的人类意图与指令遵从特性[21] - 采用了Warmup–Stable–Decay的持续预训练策略，逐步调整块大小（从1到4096再降至适合推理的尺寸如32），完成从因果生成向全局双向去噪的结构性迁移[25][26] - 引入了文档级注意力掩码，避免跨文档语义污染，确保双向建模稳定性[27] - 采用了Top-k检查点融合策略，选取最优检查点进行参数平均，得到更稳健的模型初始化[27] 后训练技术的创新 - 监督微调阶段引入了块对齐、Mask ratio bandwidth、Complementary Masking等关键改进，提升了训练效率和样本利用率[29] - 采用了置信度感知并行训练，通过添加置信度损失提升模型预测置信度，实现更快并行解码[29] - 构建了包含150万对偏好样本的数据集，并将重构损失的证据下界作为对数似然替代，构建出适配扩散模型的直接偏好对齐框架[30] 训练与推理基础设施优化 - 预训练阶段结合了数据并行、流水线并行、张量并行、上下文并行与专家并行的多并行策略，保持千亿级模型的高吞吐与强扩展性[31] - 通过基于cuDNN的注意力实现，为块扩散训练带来显著加速，训练LLaDA2.0-mini时实现了1.3倍以上的端到端加速以及90%以上的注意力层显存节省[31] - 推理阶段，LLaDA2.0-flash-CAP达到了535 TPS，相较于基线AR模型实现最高2.1倍推理加速[34] 行业意义与未来展望 - LLaDA2.0的成功表明扩散语言模型是一条可扩展且有竞争力的技术路线，在通用基准上快速缩小了与AR模型的差距，并在复杂任务上展现出超越潜力[41] - 其“将成熟AR大模型平滑过渡到扩散框架”的思路为扩散语言模型的规模化探索提供了切实可行的工程路径，打开了更广阔的设计空间[43] - 越来越多的玩家正在入场，包括科技巨头xAI[44] - 尽管在更大参数规模、更高效强化学习与推理范式等方面仍有难题待攻克，但技术方向已经明确[46]