Meta SAM系列技术更新核心观点 - Meta发布SAM 3D和SAM 3两项重大更新，将图像3D理解与概念分割能力提升至新水平[1] - 两项新技术均具备业界领先的SOTA性能，并同步开放模型权重与推理代码[2][7] - 公司推出Segment Anything Playground平台，方便用户体验新模型能力[8] SAM 3D技术细节 - SAM 3D包含两个模型：SAM 3D Objects支持物体与场景重建，SAM 3D Body专注于人体形状与姿态估计[4] - SAM 3D Objects能从单张自然图像实现稳健、真实感强的3D重建与物体姿态估计，生成带姿态信息的3D模型[11][15] - 技术核心创新在于构建可扩展的数据引擎，通过标注近100万张图像生成约314万个3D网格，突破真实世界3D数据获取瓶颈[20][26] - SAM 3D Body基于全新开源3D网格格式MHR，构建于Transformer架构，使用包含约800万张图像的数据集训练，能处理遮挡、罕见姿态等复杂情况[30][31][33] SAM 3技术细节 - SAM 3引入可提示概念分割能力，能根据文本或图像提示找到并分割某个概念的所有实例，克服现有模型在细致请求下的困难[38][40] - 模型架构建立在Meta Perception Encoder等多项AI进展之上，检测模块基于DETR，跟踪模块基于SAM 2的memory bank技术[42] - 性能取得跨越式提升，将cgF1分数提升两倍，优于Gemini 2.5 Pro等基础模型和专业模型[44] - 推理效率极高，在H200 GPU上对单张含超100个检测目标的图像仅需30毫秒，视频中多目标情况下仍可保持近实时表现[44]

文章核心观点 - Meta公司深夜发布其Segment Anything Model (SAM)系列的重大更新，包括SAM 3D和SAM 3 [1] - SAM 3D包含两个模型：专注于物体与场景重建的SAM 3D Objects和专注于人体形状与姿态估计的SAM 3D Body [2][5] - 公司同步开放了模型权重与推理代码，并推出全新平台Segment Anything Playground供用户体验 [7][8] SAM 3D Objects技术特点与性能 - 该模型提出全新技术路径，用于在单张自然图像中实现稳健、真实感强的3D重建与物体姿态估计，能从日常照片中重建物体的细致3D形状、纹理和场景布局 [11] - 核心创新在于通过强大的数据标注引擎突破真实世界3D数据难以大规模获取的瓶颈，并结合全新的多阶段3D训练流程 [15][22] - 借助数据引擎，公司在真实世界图像上总计标注近100万张图像，生成约314万个3D网格 [17] - 性能表现卓越：在3D形状指标F1 (0.01)上达到0.2339，显著高于对比模型（如Trellis + MegaPose的0.1436）；在3D IoU指标上达到0.4254，优于Hunyuan3D1 + Foundation Pose的0.2937 [27] SAM 3D Body技术特点与性能 - 该模型旨在解决从单张图像中获得准确人体三维姿态与形体重建的长期挑战，即使图像中存在不寻常姿势、遮挡、多人同时出现等复杂情况也能保持高质量表现 [28] - 基于公司全新的开源3D网格格式Meta Momentum Human Rig (MHR)，该格式通过将骨骼结构与软组织形体分离建模提供更强可解释性 [30] - 训练数据集包含约800万张图像，使其能够应对遮挡、罕见姿态和各种服装 [31] - 在多个3D基准测试中超越以往模型，例如在EMDB数据集上的MPJPE指标为61.7，优于4DHumans的98.0和NLF的68.4 [32] SAM 3技术特点与性能 - SAM 3引入可提示概念分割，模型能够根据文本提示或示例图像提示找到并分割某个概念的所有实例，克服了现有模型在面对细致、具体请求时的困难 [34][35] - 模型架构建立在公司以往AI进展之上，文本和图像编码器来自4月开源的Meta Perception Encoder，检测模块基于DETR [37] - 在概念分割性能上取得跨越式提升，将cgF1分数提升了两倍，优于基础模型和专业模型 [39] - 推理效率高：在H200 GPU上对单张包含超过100个检测目标的图像仅需30毫秒即可完成推理，在视频中约五个并发目标的情况下仍可保持近实时表现 [39]