Workflow
单目重建
icon
搜索文档
Instant4D:分钟级单目视频的4D高斯泼溅重建(NeurIPS 2025)
具身智能之心· 2025-10-15 11:03
核心技术:Instant4D 方法概述 - 提出Instant4D现代化全自动流程,可在数分钟内重建任意单目视频,实现30倍加速[5][6] - 引入网格剪枝策略,将高斯函数数量减少92%,同时保留遮挡结构,使其可扩展至长视频序列[6] - 提出简化、各向同性、运动感知的单目设置4DGS实现,在Dycheck数据集上性能比当前最先进方法提高29%[6] 技术流程与优化 - 采用可微SLAM方法MegaSAM获取相机位姿,并通过视频一致优化深度得到密集点云,对4秒512×512视频序列反投影可得约30百万个原始3D点[8] - 通过体素滤波将密集点云稀疏化,仅保留每个已占用体素内点的质心,以减少冗余和解决遮挡问题[8] - 基于四维高斯初始化,可在2分钟内完成场景重建,并利用动静蒙版对静态和动态区域设置不同时间缩放以优化渲染[7][13] 性能表现与效率 - 在Nvidia数据集上实现0.02分钟优化时间、822 FPS(480×270分辨率)和676 FPS(860×480分辨率)的实时渲染速度,以及23.99 PSNR的渲染质量,相比InstantSplat和Casual-FVS实现8倍加速和10倍实时渲染速度提升[17] - 在Dycheck数据集上,Lite版本实现0.03小时优化时间、1.1GB内存占用和23.02平均PSNR,Full版本实现0.12小时优化时间、8GB内存占用和24.52平均PSNR,相比基线实现30倍加速[20] - 各向同性高斯设计固定旋转R=I,使用空间/时间各一标量缩放,提升单目优化稳定性,并根据实验将渲染质量PSNR提升1.25 dB[12]