离散分布网络(DDN)

搜索文档
简单即强大:全新生成模型「离散分布网络DDN」是如何做到原理简单,性质独特?
机器之心· 2025-08-16 05:02
生成模型技术发展 - 当前主流基础生成模型包括五大类:Energy-Based Models (Diffusion)、GAN、Autoregressive、VAE 和 Flow-Based Models [3] - 提出全新生成模型离散分布网络(DDN),采用单次前向传播同时生成K个输出构成离散分布,通过优化样本点位置逼近真实数据分布 [4][5][6][7] - DDN具备三大特性:零样本条件生成、树状结构一维离散潜变量、完全端到端可微分 [8] DDN核心原理 - 重建机制:通过层级化生成设计(默认L=3层,K=3个输出/层)逐步逼近目标图像,每层选择最相似输出作为下一层条件,形成整数数组latent(如"3-1-2") [14][15] - 网络结构:由L层Discrete Distribution Layer(DDL)组成,支持single shot generator(默认)和recurrence iteration两种形式 [17][19] - 训练方式:每层对选中output与target计算L2损失,总loss取各层平均,采用Split-and-Prune算法优化节点匹配均匀性 [21] 零样本条件生成能力 - 无需训练阶段接触condition信号,仅需在生成时通过黑盒判别模型(如CLIP)引导采样过程,支持文本提示/低分辨率图像等多模态条件输入 [24][26] - 实现判别模型与生成模型统一,成为首个支持纯判别模型引导采样的生成模型,在超分辨率/风格迁移等任务中展现潜力 [27][28][29] - 条件训练扩展:可直接将condition特征输入网络学习P(X|Y),与ZSCG结合增强可控性(如保持引导图像色调) [30][32] 技术特性优势 - 端到端可微分:主干feature梯度高效反传,采样过程不阻断梯度,优于diffusion模型的噪声空间转换机制 [33][34] - 数据压缩能力:latent为高度压缩的离散表征(如K=512,L=128时单样本仅需1152 bits),支持树状结构可视化(MNIST实验K=8,L=3) [36][38][39] - 生成质量优化:通过层次化生成设计,每层输出逐步细化(首层类似聚类平均图像,末层接近target) [14][15] 应用前景展望 - 规模化应用:探索ImageNet级别Scaling up,打造以零样本生成为特色的实用模型 [42] - 垂直领域适配:适用于图像上色/去噪、机器人学习中的Diffusion Policy等生成空间有限场景 [42] - 跨模型融合:将DDN设计思想与传统生成模型结合,或应用于LLM序列建模任务 [42]