文章核心观点 - 香港科技大学（广州）与地平线研究团队提出了一种名为VGGT4D的无需训练框架，旨在通过挖掘预训练的3D基础模型（VGGT）内部隐藏的运动线索，使其在不增加训练成本的前提下，获得处理动态4D场景的能力 [1][2][6] 技术背景与挑战 - 以VGGT、DUSt3R为代表的3D基础模型在静态场景重建中表现出色，但在处理包含移动物体的动态4D场景时性能显著下降，动态物体会干扰背景几何建模并导致相机位姿漂移 [4] - 现有解决方案面临两大挑战：一是依赖繁重的测试时优化或大规模4D数据微调，导致计算或训练成本高；二是需要引入光流、深度估计等额外模块，增加了系统复杂性 [5] 核心发现与原理 - 研究发现，VGGT虽然是基于静态假设训练的，但其内部不同网络层对动态区域的响应模式不同，表明模型已隐式编码了丰富的动态线索 [7][13] - 标准注意力图混合了纹理、语义和运动信息，信噪比低，导致基于极几何假设的方法在VGGT上失效 [13] - VGGT4D的核心是提出一套无需训练的注意力特征挖掘与掩膜精修机制，通过深入特征流形内部，利用Gram矩阵和梯度流实现高精度的动静分离 [14] 关键技术方法 - **特征挖掘**：引入自相似性Gram矩阵替代标准注意力图，通过在同构潜在分布内计算相似度，使运动引起的方差成为主导信号，并在时间窗口内聚合不同层级的统计矩以构建动态显著性场 [17] - **掩膜精修**：引入投影梯度感知精修，利用3D点几何投影残差关于坐标的梯度所包含的强边界信息，结合光度残差项，实现对动态掩膜的亚像素级锐化 [18][19] - **推理策略**：采用分布内早期掩膜策略，仅在浅层抑制动态Token的Key向量，既切断了动态信息对深层几何推理的影响，又保证了深层Transformer Block在预训练特征流形上运行，确保了位姿估计的鲁棒性 [19] 性能评估与结果 - **动态物体分割**：在DAVIS-2016和DAVIS-2017数据集上，VGGT4D取得了最优性能。例如，在DAVIS-2016上，其JM指标达62.12，JR指标达76.80，显著优于其他方法。定性结果显示其生成的掩码更准确、边界更清晰 [21][22] - **相机位姿估计**：在长序列Point Odyssey基准测试中，VGGT4D在所有指标上均取得最佳结果，且能高效运行（许多其他方法因内存不足无法运行）。其ATE指标为0.019，优于VGGT基线的0.022 [25][26] - **4D点云重建**：在DyCheck数据集上，VGGT4D在所有重建指标上均取得最佳性能。与VGGT基线相比，中位准确度误差从0.009降低到0.004，平均距离从0.150降低到0.123 [28] - **基线对比**：原始VGGT本身已是强大基线，优于MonST3R、DAS3R等专门方法，而VGGT4D在所有数据集上持续改进了这一基线。例如在VKITTI数据集上，VGGT4D的ATE为0.164，远低于MonST3R的2.272 [23] 意义与潜力 - VGGT4D提出了一种无需训练的新范式，成功将3D基础模型能力扩展至4D动态场景，证明了通过挖掘模型内部Gram相似度统计特性可有效解耦动态与静态信息 [30] - 该工作为低成本的4D重建提供了新思路，并展示了基础模型在零样本迁移任务中的潜力 [30]