Workflow
最优传输理论
icon
搜索文档
近500页史上最全扩散模型修炼宝典,宋飏等人一书覆盖三大主流视角
机器之心· 2025-10-29 07:23
书籍核心价值与定位 - 书籍《The Principles of Diffusion Models》系统梳理了扩散模型的发展脉络与核心思想,深入解析了模型的工作原理、有效性及未来方向[5] - 该书以460多页的篇幅,通过严密的数学推导与公式展开,为具有深度学习基础的研究人员、研究生及从业者提供可靠的理论指南[1][8] - 书籍将变分、得分与流等多种视角在统一的数学框架下进行串联,既是研究者的系统参考资料,也是初学者的友好入门读物[5][6] 扩散模型基础原理 - 扩散模型将生成过程视为随时间逐步演化的变换,通过多阶段推理将粗略结构细化为精致细节,与传统生成模型直接学习噪声到数据的映射不同[11] - 领域研究者从三种主要视角发展扩散模型:变分方法、基于得分的方法和基于流的方法,这些视角提供了互补的框架[11][14] - 三种视角在数学上等价,共同构成了扩散建模的统一理论图景,并与变分自编码器、能量模型和归一化流等方法相联系[16][23] 扩散模型核心视角详解 - **变分视角**:源自变分自编码器,将扩散过程理解为通过变分目标学习去噪过程,形成去噪扩散概率模型[23] - **得分视角**:起源于能量模型,通过学习对数数据密度的梯度来指导逐步去噪,在连续时间设定下与随机微分方程和常微分方程理论紧密相连[23] - **流视角**:基于归一化流,将生成建模表述为连续的流动变换,通过ODE描述样本从简单先验分布逐步运输至数据分布的过程[23] - 第6章展示了三种视角之间的深层统一性,第7章进一步探讨其与最优传输理论及薛定谔桥之间的联系[24][25] 扩散采样控制与加速 - 扩散模型的生成过程呈现出由粗到细逐步精化的特征,但采样过程计算代价较高,需要改进采样方法和学习型加速技术[26][27] - **引导式生成**:通过分类器引导和无分类器引导等方法,使生成过程能够根据用户定义的目标或属性进行条件控制,实现偏好对齐[29] - **基于数值求解器的快速生成**:采用先进数值求解器,在更少的反向积分步骤中近似模拟扩散反过程,显著降低计算成本的同时保持生成质量[29] 快速生成模型的学习方法 - **基于蒸馏的方法**:训练学生模型模仿已训练好的教师扩散模型的行为,以显著更少的积分步数重现教师模型的采样轨迹或输出分布[30] - **从零开始的学习**:直接从零开始学习ODE的解映射(流映射),无需依赖教师模型,实现端到端的快速生成,消除多步采样的时间瓶颈[30][31][32] - 这些方法旨在通过模型学习获得对扩散动态的直接近似,从根本上提升生成速度与可扩展性[30] 书籍涵盖范围与理论体系 - 全书围绕统一核心原理展开:构建连续时间动力系统,将简单先验分布逐渐传输至数据分布,并确保任意时刻的边缘分布与预设正向过程诱导的边缘分布一致[33] - 书籍系统推导了扩散模型的基本机制,包括构建支持采样的随机流与确定性流、通过引导机制控制生成轨迹、利用数值求解器加速采样过程[34][36] - 本书旨在建立具有持久价值的理论体系,帮助读者在统一框架下定位新研究、理解方法原理、并具备设计与改进新一代生成模型的能力[36]
DeepSeek“防弹衣”来了,模型内生安全加固方案,拒绝杀敌一千自损八百|上海AI Lab
量子位· 2025-03-13 03:28
核心观点 - DeepSeek-R1模型存在隐形危险,其思考过程可能泄露有害内容,现有防御技术面临两难局面 [1] - X-Boundary安全防御方案通过分离安全和有害表征,实现精准高效的安全加固,同时保持模型通用性能 [2] - X-Boundary在DeepSeek-R1-Distill-Llama-8B上表现优异,能彻底封堵信息泄漏通道 [3] - X-Boundary结合基于规则的检测器,实现高效和安全的兼顾 [4] 现有防御方法的缺陷 - 主流防御方法(SFT/DPO/GA/CB)在加固安全防线时导致智能水平衰退,SFT使DeepSeek-R1-Distill-Llama-8B的数学能力骤降10% [5] - 多轮防御训练在多轮攻防场景中导致安全问答误伤率飙升30%,安全防线模糊不清,边界案例与有害表征分布高度重合 [6] X-Boundary防御框架 - X-Boundary通过三步建立动态防护网:边界绘制、威胁瓦解、智能保鲜,从根源切断危险与安全表征的混淆 [8] - X-Boundary基于最优传输理论,使安全表征更聚集,训练收敛速度在Llama-3-8B和Qwen2.5-7B上分别提升27%和18% [9] - X-Boundary在模型内部构建明暗分界的安全防线,有害表征和安全表征得到清晰区分 [11] 实验效果 - X-Boundary在多轮攻击防御成功率上追平现有最优方案,误伤率降至最低水平,模型通用能力保持99%以上原生性能 [13] - 在Qwen2.5-14B-Chat上,X-Boundary对复杂多轮攻击的防御强度提升65%,误伤率增幅锁死在5%以内,模型智商损耗不足0.6% [15][19] - X-Boundary在防御成功率与误伤率之间取得更好平衡,位于权衡图的左下角 [14]