Workflow
FreeFlow
icon
搜索文档
谢赛宁与Jaakkola团队重磅研究:无数据Flow Map蒸馏
机器之心· 2025-11-26 09:19
AI研究新范式:摆脱数据和语言依赖 - 近期多项研究展示AI研究新趋势:摆脱对显性数据(如文本、图像)和语言的依赖,转而挖掘和利用模型内部表征或先验分布 [4][5] - 清华大学等机构的「Cache-to-Cache」模型通信新范式实现了「去语言化」的高效交流,相关推文获得85万浏览量 [1] - NeurIPS 2025论文提出「思维沟通」概念,让智能体在内部层面传递潜在思维,实现类似心灵感应的合作 [3] - 麻省理工学院和纽约大学的联合研究提出无需数据、仅从先验分布采样即可实现flow map蒸馏的方法,标志着AI从「向外挖掘数据」跨入「向内挖掘潜能」的新纪元 [4][5][30] FreeFlow无数据蒸馏技术 - 该技术旨在解决扩散模型和流模型因对常微分方程进行数值积分而导致的严重计算瓶颈问题 [8][9] - 传统flow map蒸馏方法依赖外部数据集训练学生模型,存在「教师-数据不匹配」的根本性风险,即静态数据集可能无法完整表征教师模型真实的生成能力 [11][12] - FreeFlow通过仅从先验分布进行采样,构建了一种稳健的、无需数据的替代方案,在设计上彻底规避了「教师-数据不匹配」的风险 [21][23] FreeFlow技术框架与性能 - 技术采用「预测-校正」框架:预测阶段使学生模型成为自主的ODE求解器;校正阶段通过分布匹配机制确保生成的边缘分布忠实于教师模型 [22][26] - 在ImageNet上刷新生成质量纪录:在1-NFE条件下,256x256分辨率下FID达到1.45,512x512分辨率下FID达到1.49,大幅超越所有基于数据的基准模型 [27][28] - 该方法可作为快速且一致的代理模型,实现高效的「推理时扩展」,使得在单步操作中搜索最优噪声样本成为可能 [30]