技术突破与核心观点 - 全球首个实现“镜头 × 光照”双维度可控的4D视频生成框架Light-X问世，使仅凭一段单目视频即可自由规划镜头轨迹并灵活调整光源方向、亮度与风格成为现实[2] - 该技术填补了关键空白，首次在单目视频场景中统一解决了相机轨迹控制与光照控制，让视频具备真正意义上的4D多维可编辑能力[8] - 核心思路是将相机控制与光照控制先解耦，再在扩散模型中统一融合，从而实现真正的双可控生成[10] 研究背景与行业价值 - 现实世界的视觉体验由几何、运动和光照共同构成，而单目视频仅是复杂四维时空的二维投影[5] - 实现视频的“可重拍摄”与“可再导演”能力，将对电影制作、虚拟拍摄以及AR/VR内容生成等领域产生深远影响[5] - 现有研究大多独立发展相机可控视频生成或视频重打光技术，缺乏对“镜头×光照”联合控制问题的解决[6][7] 方法架构 - 显式解耦相机与光照：构建两条分支，一是用于相机控制的动态点云，二是用于光照控制的重打光点云，在建模阶段成功解耦两种因素[11] - 联合条件的视频扩散模型：生成阶段将几何分支与光照分支的线索统一输入扩散模型，包括细粒度几何与光照线索，以及用于维持风格一致性的全局光照token[12] - 多模态光照输入支持：得益于统一建模，框架可同时支持HDR环境光、参考图光照、文本/背景图光照等多种形式的光照输入，无需为每种模式分别训练[21] 数据构建 - 为解决真实世界缺乏“同一动态场景×多光照×多视角”成对训练数据的问题，构建了名为Light-Syn的自动合成训练数据流程[15] - Light-Syn通过退化与逆向映射流程，从普通视频自动生成训练所需的几何对齐、多光照、多视角条件线索[16][17] - 数据来自静态场景视频、动态场景视频和AI生成视频三类来源，使模型能学习真实运动结构并适应多样化光照风格[19] 实验结果 - 镜头×光照联合控制：在综合评测中，Light-X的FID得分为101.06，美学评分为0.623，运动保持误差为2.007，CLIP得分为0.989，在图像质量、视频平滑性及用户偏好等多项指标上均显著领先于组合式基线方法[27] - 视频重打光：在该任务中，Light-X的FID得分为83.65，美学评分为0.645，运动保持误差为1.137，CLIP得分为0.993，在图像质量、时间一致性和用户偏好上均优于IC-Light、Light-A-Video等方法[29] - 效率优势：在联合控制任务中，Light-X的生成时间为1.83分钟，快于对比方法（如TC+IC-Light的3.25分钟）[27]；在重打光任务中，生成时间为1.50分钟，也快于对比方法（如LAV的2.50分钟）[29] 消融实验与关键设计 - 多源数据至关重要：实验表明，缺少静态、动态或AI生成数据中的任一类，都会导致模型性能下降（如FID从101.06升至123.35、108.70或102.09）[31] - 光照机制设计关键：细粒度光照线索与全局光照控制的缺失会损害性能（如FID分别升至143.02和103.13）[31] - 训练策略有效性：使用算法生成的GT、对所有帧进行重打光或移除软掩码等设计均会导致性能显著劣化，验证了当前设计的合理性[31] 总结与框架能力 - Light-X通过显式解耦相机与光照因素，利用动态点云提供几何先验，并通过重打光帧构建光照线索，在统一扩散模型中实现了稳定、高保真的联合调控[32] - 提出的Light-Syn数据管线使模型无需真实的多视角、多光照采集即可完成训练[32] - 框架能灵活适配多种光照模式，并支持交互式调节视频中的光照区域与方向，实现细粒度可控的重打光效果[21][31]