在计算机视觉领域，Meta近日发布的SAM 3D和SAM 3系列模型标志着图像理解技术迈入了全新阶段。这次更新不仅延续了Segment Anything Model（SAM）系列在图像分割领域的领先地位，更将2D图像理解能力拓展到3D重建、物体姿态估计和概念分割等多个维度，为AR/VR、机器人、内容创作等应用场景提供了前所未有的技术支撑。
**SAM 3D：突破单图像3D重建的技术瓶颈**
SAM 3D包含两个核心模型：SAM 3D Objects和SAM 3D Body，分别针对物体场景重建和人体姿态估计。传统3D重建技术长期受限于高质量3D真值数据的稀缺性——与文本或图像数据相比，3D数据的获取成本高出数个数量级，且主要依赖专业艺术家的手工制作。这导致现有模型大多只能在合成场景或受控环境下表现良好，难以应对真实世界中的复杂情况。
SAM 3D Objects的创新之处在于构建了一个可扩展的数据引擎系统。Meta发现，验证或排序3D网格的难度远低于从零创建网格，因此设计了一套混合标注流程：先由模型生成多个3D候选结果，再由标注人员进行评分筛选，仅将最困难的样例交给专业3D艺术家处理。这种策略首次在真实世界图像上标注了近100万张图像，生成了约314万个3D网格，突破了数据瓶颈。
技术架构上，SAM 3D Objects借鉴了大语言模型的训练范式，将基于合成数据的学习作为3D预训练阶段，随后加入后训练阶段进行真实环境对齐。数据引擎与后训练阶段形成正向反馈闭环：模型性能提升增强数据生成能力，高质量数据又进一步优化模型表现。这种设计使模型能够处理自然图像中的小物体、侧视角、遮挡等挑战，从单张照片重建出细致的3D形状、纹理和场景布局。
SAM 3D Body则专注于人体三维重建这一长期难题。该模型基于Meta开源的Meta Momentum Human Rig（MHR）格式，将骨骼结构与软组织形体分离建模，提供更强的可解释性。架构上采用Transformer编码器-解码器设计，图像编码器采用多输入结构捕捉身体细节，网格解码器扩展支持基于提示的预测。模型支持分割掩码和2D关键点等交互输入，用户可直接引导预测结果。为训练该模型，Meta构建了包含800万张图像的高质量数据集，覆盖遮挡、罕见姿态和各种服装场景，在多个3D基准测试中超越以往模型。
**SAM 3：实现概念级视觉理解**
SAM 3通过引入可提示概念分割技术，解决了计算机视觉中语言与视觉元素精准对应的核心挑战。现有模型虽然能分割常见类别，但在处理细致请求时表现受限。SAM 3能够根据文本提示或示例图像提示，找到并分割某个概念的所有实例，例如“那把红色条纹的雨伞”。
为评估模型在大词汇量下的表现，Meta构建了SA-Co基准，涵盖规模更大的概念词汇，挑战性显著提高。模型架构基于Meta Perception Encoder，该编码器在今年4月开源，能够构建更高级的计算机视觉系统。相比以往方案，SAM 3在保持分割精度的同时，大幅提升了概念理解的范围和灵活性。
**技术生态与开放策略**
Meta同步开放了SAM 3D和SAM 3的模型权重与推理代码，并推出Segment Anything Playground平台供用户体验。这种开放策略不仅降低了技术使用门槛，更促进了社区协作和创新。从技术发展角度看，SAM系列的成功在于将数据引擎、模型架构和应用场景紧密结合：数据引擎解决真实世界数据稀缺问题，模型架构提供强大的表示能力，而可提示设计则增强了实际应用的灵活性。
**产业影响与未来展望**
SAM 3D和SAM 3的发布将对多个产业产生深远影响。在内容创作领域，艺术家和设计师能够快速将2D素材转化为3D模型，大幅提升工作效率；在AR/VR应用中，实时3D重建能力将增强沉浸式体验；机器人领域则可通过更精准的环境理解提升自主导航和操作能力。更重要的是，这些技术降低了3D内容创作的门槛，可能催生新的应用生态。
从技术趋势看，SAM系列的发展体现了AI模型从专用向通用、从静态向交互的演进路径。未来，随着多模态技术的融合，我们有望看到更智能的视觉系统，能够无缝理解并操作3D世界。Meta此次更新不仅展示了技术突破，更通过开放生态推动了整个行业的发展，为下一代视觉AI应用奠定了坚实基础。
— 图片补充 —
关注“鲸栖”小程序，掌握最新AI资讯
本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：http://www.itsolotime.com/archives/6618