北京大学CoherentGS技术突破 - 北京大学团队推出的CoherentGS技术,仅需3至9张稀疏且模糊的照片,即可重建出高清、连贯的3D场景,有效解决了传统3D高斯splatting对密集、清晰输入图像的依赖问题[5][7] 核心框架与关键技术 - CoherentGS采用“双先验引导”策略,将去模糊与几何补全协同融入3D高斯优化全流程,确保重建结果既清晰又连贯[7][10] - 其核心技术包括四大关键:去模糊先验、扩散先验、一致性引导相机探索以及联合优化[11][12] 去模糊先验技术细节 - 通过物理模糊建模,将模糊图像建模为相机曝光时间内的多帧清晰图像叠加,并优化相机位姿以模拟真实模糊形成过程[15] - 采用感知蒸馏去模糊方法,利用预训练去模糊模型生成清晰伪标签,在特征层面引导3D高斯渲染,以恢复高频细节并避免几何失真[15] 扩散先验技术细节 - 利用扩散模型对3D高斯渲染的图像进行单步去噪引导,通过特征蒸馏损失补全未观测区域的几何结构,并确保补全结构与真实场景一致,避免无中生有[18] - 对比显示,BAD-Gaussians的高斯分布呈碎片化聚类,而CoherentGS的高斯分布全局连贯[17] 智能相机探索与联合优化 - 采用一致性引导的相机探索策略,通过场景自适应归一化与带通选择,智能筛选“可恢复且有价值”的新视角,避免盲目增加视角导致的优化低效或失真[19][21][25] - 在联合优化中引入深度正则化损失,对渲染深度图施加平滑约束,并结合复合损失函数,全面优化以避免稀疏区域的碎片化或漂浮伪影[22][24][26] 性能验证与效果 - 在Deblur-NeRF和DL3DV-BLUR数据集上的定量测试表明,在3至9张稀疏模糊输入下,CoherentGS的PSNR比BAD-Gaussians最高提升2.78 dB,LPIPS降低40%以上[26] - 定性效果显示,CoherentGS能恢复清晰的纹理细节和边缘,在复杂户外场景中也能保持视图一致性,无明显伪影[26][27][29] - 频谱分析证实,CoherentGS恢复的细节真实有效,其频率谱与真实场景高度吻合,保留了自然的高频细节[30][32] 行业影响与未来展望 - CoherentGS标志着3D重建进入“少图模糊也能打”的时代,大幅降低了高质量3D重建对输入素材的门槛[33] - 该技术未来可扩展至散焦模糊、曝光异常等更多真实拍摄场景,应用前景广阔[33]
打破恶性循环!CoherentGS:稀疏模糊图像也能高清重建
自动驾驶之心·2025-12-20 02:16