文章核心观点 - Meta AI发布SAM 3D模型，能够从单张2D图像直接生成精细的3D模型，代表了3D建模领域的新范式[1][4][7] - 同时发布的SAM 3模型在图像分割基础上增强了语义理解能力，支持通过文本或示例提示进行开放词汇的概念分割[5][6][23] - 两个模型系列在各自领域的多项基准测试中均取得了显著优于现有方法的性能，达到SOTA水平[13][17][36] SAM 3D模型技术特点与性能 - SAM 3D包含两个专用模型：SAM 3D Objects用于物体和场景重建，SAM 3D Body专注于人体建模[8] - SAM 3D Objects能够处理小物体、间接视角和遮挡等复杂情况，从单张自然图像实现3D重建和物体姿态估计[10][11] - 在人类用户对比测试中，SAM 3D Objects的胜率至少达到其他领先模型的5倍[14] - 具体性能指标显示显著优势：F1分数达0.2339，Chamfer距离为0.0408，3D IoU为0.4254，ADD-S@0.1为0.7232[15] - SAM 3D Body在复杂情况下表现优异，MPJPE指标为61.7，PVE为60.3，在多个数据集上的PCK指标分别为68.0和75.4[18] SAM 3模型技术突破 - 突破传统分割模型固定标签集的限制，引入可提示概念分割功能，支持通过文本或示例提示定义概念[21][23][24] - 能够处理细微概念如"红色条纹伞"，并通过文本指令或选中示例物体来查找分割所有同类物体[22][26][31] - 在LVIS数据集的零样本分割任务中准确率达到47.0，比此前SOTA的38.5提升显著[37] - 在新的SA-Co基准测试中，表现至少比基线方法强2倍[38] - 在视频分割任务中性能优于SAM 2，在多个数据集上的J&F指标达到78.4至89.6[40] 模型架构与实现方法 - SAM 3基于共享的Perception Encoder视觉骨干网络，服务检测器和追踪器模块[41][43] - 创新设计Presence Head解决开放词汇检测中的幻觉问题，解耦识别与定位任务[45] - SAM 3D Objects采用两阶段生成模型：12亿参数流匹配Transformer构建几何，稀疏潜在流匹配细化纹理[48][49][51] - 通过model-in-the-loop数据引擎低成本获取图像-3D配对数据，人类从8个候选中选择最佳匹配[53][54] - SAM 3D Body采用Momentum Human Rig表示法，双路解码器设计分别处理全身和手部细节[55][57][61] 行业影响与数据集 - Meta与艺术家合作构建SAM 3D艺术家物体数据集SA-3DAO，用于评估物理世界图像三维重建能力[20] - 创建SA-Co基准测试评估大词汇量检测和分割性能，要求识别更大概念词汇量[33][34] - 模型能够很好泛化到多种类型图像，支持密集场景重建，标志着基础模型具身化的进展[13][60]