AI技术发展路径的共识与非共识 - 预训练技术从2023年的行业共识到2025年面临质疑，OpenAI前首席科学家公开认为"预训练已走到尽头"，而DeepSeek R1等强化学习模型崛起[1] - 蚂蚁集团技术开放日圆桌讨论显示，行业分化成两派：曹越、孔令鹏等通过跨架构创新（如语言模型应用Diffusion、视频模型采用自回归）实现突破，阿里则坚持Transformer等传统路径[3][4][14] - 当前行业呈现多元探索态势，参与者形容为"摸彩票"，不同技术路线本质是平衡模型偏差与数据偏差的尝试[7][17][18] 主流架构的技术突破 - 扩散模型创新：Dream 7B以7B参数量超越671B的DeepSeek V3，通过双向学习处理并行任务，在数学/代码任务表现突出[3][8][17] - 视频模型革新：曹越团队将自回归应用于视频生成，突破Sora无时序先验的限制，通过编码时间关系提升信息利用率[10][11][12] - Transformer持续主导：阿里内部多次"魔改"Transformer后仍确认其最优性，但承认MOE架构在扩展性上的潜力[5][14][16] 模型优化与效率挑战 - MOE架构进展：DeepSeek实现1:20+稀疏比，阿里测试显示1:10-1:20区间效果最佳，但专家数增加会降低训练稳定性[19][20][22] - 多模态融合创新：通过Attention稀疏化提升跨模态效率，端到端优化Tokenize到联合建模的全流程[24][25][26] - 硬件制约明显：GPU对Transformer训练非最优，行业呼吁软硬一体解决方案[34][35][36] 预训练与数据应用趋势 - 预训练价值分歧：2024年认为数据枯竭是共识，2025年美国新观点认为仍有潜力，阿里证实数据增量仍能提升模型性能[38][39] - 算力驱动创新：历史显示算力增长可激活曾被放弃的技术，当前需重点优化算力利用率[40][41] - 创造本质探索：将创作定义为搜索问题，通过可能性空间遍历实现智能生成[42][43] 行业现存问题与应对 - 幻觉控制难题：强化学习可能加剧错误推理模式，阿里尝试通过稀疏自编码器(SAE)定位并抑制相关特征[30][31] - 架构选择成本：模型结构需同时兼容预训练与强化学习，当前每次技术押注成本显著上升[20][33] - 技术迭代哲学：行业进步类似飞机航道调整，需动态修正而非预测终极形态[44][45]

研究背景 - 对抗样本通过微小扰动生成，难以被人眼察觉但显著降低深度学习模型性能，对计算机视觉领域模型安全性和鲁棒性构成重大挑战[5] - 现有对抗净化技术分为基于训练的方法和基于扩散模型的方法，前者需大量训练数据和时间，后者不依赖训练数据且泛化能力更强[5] - 对抗净化在自动驾驶、金融分析和医疗影像等安全关键领域尤为重要，可降低对抗攻击威胁并提升系统整体安全性[5] 动机和理论分析 - 现有策略在像素空间无法解耦干净像素与对抗扰动，导致破坏扰动时损害原始图像语义信息[7] - 对抗扰动更倾向于破坏高频幅度谱和相位谱，低频信息对扰动更鲁棒[7] - 相位谱被噪声破坏速度更快，逆向过程中保留相位谱非常关键[12] 方法 - 利用傅里叶分解技术将图像分解为幅度谱和相位谱，通过滤波器保留低频幅度谱信息[14][15] - 将估计图像低频相位谱投影到输入图像低频相位谱范围内，避免直接保留扰动[16] - 通过逆离散傅里叶变换将更新后的幅度谱和相位谱结合，获得时间域表示[16] 实验效果 CIFAR10 - 在WideResNet-28-10模型上，标准准确率94.14±1.17，鲁棒准确率93.75±0.80，均优于SOTA方法[18] - 在WideResNet-70-16模型上，标准准确率94.92±0.39，鲁棒准确率92.77±0.58，表现最佳[18] ImageNet - 使用ResNet-50分类器，标准准确率77.15±1.57，鲁棒准确率65.04+2.54，显著优于其他方法[19] 可视化 - 净化后图像与原始干净图像在视觉上最为相似，联合分布也最接近原始图像[20] 未来方向 - 探索更有效的图像分解手段以更好解耦对抗扰动和语义信息[21] - 提供更深入的理论解释以进一步优化对抗净化效果[21]

超分辨率技术发展 - 超分辨率技术（SR）已成为计算机视觉领域重要挑战，应用场景包括医疗影像、卫星遥感、视频监控和游戏渲染等[1] - 传统深度学习模型（如SRCNN、EDSR）在固定放大倍数表现优异，但无法支持任意放大尺度或在大倍率下出现细节模糊[1] - 扩散模型能恢复高频细节但推理速度慢，难以满足实时需求[1] DiffFNO技术框架 - 由三大核心组件构成：加权傅里叶神经算子（WFNO）、门控融合机制、自适应ODE求解器[2][5] - WFNO通过频域卷积捕获全局信息，可学习频率权重放大高频分量，相比普通FNO在大倍率超分中PSNR提升0.3–0.5 dB[9][10] - 门控融合机制并行引入轻量化注意力算子（AttnNO），动态结合谱域与空域特征[5][12] - 自适应ODE求解器将扩散逆过程转化为确定性ODE，推理步数从1000步降至30步（减少33倍），推理时间从266 ms缩短至141 ms[15] 性能表现 - 在DIV2K等五大数据集上PSNR领先SOTA方法2~4 dB，大倍数放大（×8、×12）优势更显著[17] - 定性结果显示对建筑细节、植物纹理、动物皮毛等高频结构复原出色，边缘锐利且伪影少[20] - 消融研究表明：去除模式重平衡导致PSNR下降0.4 dB，去除AttnNO影响局部纹理，去除ATS会使推理步数回升至千步级[23] 技术突破 - 首次实现支持任意连续倍率（如2.1、11.5倍）的超分辨率重建[2] - 通过神经算子赋能扩散架构，打破"高质量重建"与"快速推理"矛盾[1][23] - 采用全模式保留策略，兼顾图片整体解构与局部细节[18] 学术认可 - 研究成果入选CVPR 2025 Oral报告[2] - 论文已发布于arXiv（编号2411.09911）并提供开源项目主页[7]