扩散大语言模型（DLLM）的现状与挑战 - 当前DLLM在推理时必须采用预设固定长度，对于不同任务需要专门调整才能达到最优效果[2] - 固定长度设置导致两难困境：设置太短可能限制模型发挥，设置太长则浪费计算资源并可能导致性能下降[8] - 现有DLLM与自回归LLM的关键差距在于无法自主调整回答长度[2] DAEDAL解决方案 - DAEDAL是一种无需训练的去噪策略，赋予DLLM动态调整回答长度的能力[4] - 从统一且很短的初始长度开始，让模型根据需求在生成中调节长度[4] - 利用两种关键内部信号：序列末端EOS词元置信度和特定词元的预测置信度[8][10] - 包含两阶段机制：初始长度调整和迭代式掩码插入[12] DAEDAL技术细节 - 初始长度调整阶段通过检测EOS序列平均置信度判断长度是否充足，不足则扩展序列长度[12] - 迭代式掩码插入阶段监控模型置信度，在不确定位置动态插入多个MASK词元提供"思考空间"[12] - 模型在长度充足时会在末尾高置信度预测EOS，长度不足时会抑制EOS生成[10] 实验结果 - 在GSM8K基准上DAEDAL准确率达85.8%，优于固定长度基线的最佳83.8%[14] - 在MATH500基准上DAEDAL准确率44.2%，优于固定长度基线的39.6%[14] - 平均准确率54.75%，显著优于固定长度基线的28.08-51.73%[14] - 有效词元利用率(Eratio)在GSM8K达73.5%，优于固定长度基线的14.4-97.1%[14] DAEDAL优势 - 性能与精心调优的固定长度基线相当甚至更优[16] - 能自适应找到每个任务的最佳生成长度[17] - 提升计算资源利用率，总词元数通常低于基线最佳配置[17] - 弥补了DLLM与自回归LLM在核心能力上的关键差距[19]