文章核心观点 - 全景视觉与常规透视视觉存在根本性差异，直接将基于透视视觉开发的算法迁移到全景视觉往往失效 [6] - 文章首次以“透视-全景 gap”为主线，系统梳理了三大核心挑战、两条核心技术路线与未来方向展望 [6] - 旨在为研究者提供“按任务选解法”的指南，并为工程团队“按场景落地”提供清晰坐标 [6] 研究背景与动机 - 全景图像捕捉的是360°×180°的完整球面视域，而常规透视图像是大部分计算机视觉任务使用的标准输入 [6] - 全景视觉在虚拟现实、自动驾驶、具身智能等新兴应用中正成为不可或缺的研究方向 [6] 全景视觉的核心挑战 - **几何畸变**：球面展开到平面时，两极区域被严重拉伸，物体形状被破坏 [7] - **非均匀采样**：赤道像素密集、极区像素稀疏，同一物体在不同纬度分辨率差异明显 [7] - **边界连续性**：等距矩形投影（ERP）图像的左右边界在球面上相邻，但在二维图像上被分割，导致模型学习出现连续性问题 [7] 核心技术路线与策略适配 - **失真感知方法**：直接在ERP全景格式上建模，通过畸变设计、畸变图权重或自适应注意力来补偿极区问题，优势在于保留全局像素级别的语义对应且与主流架构高度兼容 [10][13] - **投影驱动方法**：通过立方体投影（Cubemap）、切平面投影（Tangent）等将球面转换为多个畸变较小的子视图，优势在于有效缓解极区畸变并能直接复用透视模型和大规模预训练网络 [13] - **策略适配**：失真感知方法更适配全局语义一致性的任务（如超分辨率、修复、分割、检测），而投影驱动方法更适配强调局部几何精度的任务（如深度估计、光流、关键点匹配） [13] 全景视觉任务工具箱 - 文章覆盖20+代表性任务，并提供了横向跨任务对照表，将任务按四大板块归类：增强与评估、理解、多模态、生成 [14] - 新范式加速渗透，包括Diffusion/生成式模型在文生图/视频、图像补全、新视角合成方向快速涌现，以及3D高斯泼溅（3DGS）在高效高保真渲染中的应用 [14][15] - 多模态对齐，尤其是音频、文本、LiDAR与全景的对齐成为新的研究热点 [14][15] 全景视觉的未来发展方向 - **数据瓶颈**：缺少大规模、跨任务、跨场景的标准360°数据，真实场景高质量标注成本高，多模态资源不足制约研究进程 [21] - **模型范式**：需将基础模型迁移到全景视觉并设计参数高效的专家模块，多模态对齐和全景生成是核心难点 [21] - **下游应用**：关键场景包括空间智能与自动系统（具身智能、自动驾驶）、XR与沉浸式交互、三维重建与数字孪生以及广泛的行业化社会应用 [21]