Workflow
突破长视频生成瓶颈:南大、TeleAI推出全新AI生成范式MMPL,让创意一镜到底
机器之心·2025-08-25 06:08

技术突破 - 南京大学联合TeleAI推出长视频自回归生成新范式Macro-from-Micro Planning(MMPL),采用"宏观规划、微观执行"双层生成架构,解决长视频生成中的时域漂移和串行瓶颈问题[3][4][12] - MMPL实现分钟级高质量长视频稳定生成,生成效率显著提升,结合蒸馏加速技术后预览帧率最高可达约32 FPS,接近实时交互体验[5][13] - 在统一测试集上显著优于MAGI、SkyReels、CausVid、Self Forcing等现有方法,在视觉质量、时间一致性和稳定性方面全面领先[15] 技术原理 - 微观规划阶段基于首帧联合预测稀疏关键未来锚点帧(包括早期邻近帧、中部关键帧和末端结束帧),在同一次去噪过程中联合生成,构成片段的"视觉骨架"[20][21][26] - 宏观规划通过分段稀疏连接设计,将各片段末端锚点作为下一段起始条件,使误差累积从T帧级别降低至S段级别(S ≪ T),从根本上缓解长程漂移问题[22][23] - 并行填充阶段所有片段可完全独立生成,支持多GPU并行处理,结合自适应工作负载调度机制实现规划与填充的重叠执行,大幅提升资源利用率[30][31][32] 性能表现 - 支持20秒、30秒乃至1分钟的连贯叙事,片段衔接自然,无明显色彩漂移、闪烁或结构崩坏[19] - 生成整体吞吐量大幅提升,提供最小内存峰值模式和最大吞吐量模式两种运行策略,在内存、延迟与吞吐量之间灵活权衡[32][35][40] - 将长视频生成从"接龙式绘画"转变为"系统性制片",使AI具备从整体出发的规划能力,理解情节推进、协调画面连贯性、控制运动节奏[13][36][37]