腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

3D生成技术如今在可用性上已达到令人惊艳的程度。

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

然而,数据质量参差不齐、评估标准缺失以及长尾类别覆盖不足这三大痛点,依然困扰着该领域的研究者。

针对这些问题,腾讯混元3D团队在最新技术报告《HY3D-Bench: Generation of 3D Assets》中,正式开源了一套革命性的3D内容生成生态系统。

该工作通过自动化数据清洗流水线,从Objaverse等大规模原始库中筛选并处理了25.2万个高质量3D资产,提供包括水密网格、多视角渲染图像在内的“即用型”数据集,同时还包含24万个3D部件分解结果,显著降低了3D生成模型的训练门槛。

此外,为补充学术数据集多样性不足的问题,团队创新性地引入了AIGC驱动合成管道:利用大语言模型生成语义描述、扩散模型生成图像,再通过HY3D-3.0引擎转化为高保真3D资产。该管道均匀覆盖了1252个类别,有效平衡了常见类别与长尾类别之间的数据分布差异。

实验显示,基于该基准训练的轻量级模型(Hunyuan3D-2.1-Small)在生成质量和推理速度上均优于传统方法。该数据集为机器人仿真、虚拟现实等下游应用提供了坚实的数据基础。

数据集组成

高质量基准数据集的可用性始终是制约3D生成模型发展的核心因素。早期基准数据集如ShapeNet虽为3D生成研究奠定了基础,但存在类别覆盖失衡、几何结构简单、数据量不足等根本缺陷,严重限制了模型的泛化能力,长期阻碍着3D生成技术向实用化场景的推进。

尽管Objaverse等大规模数据集的出现打破了这一僵局——其包含数百万个涵盖关节物体、有机形状等复杂几何的模型,为新一代大尺度3D生成模型铺平了道路,但行业仍面临更深刻的挑战:

主流3D生成模型需要对原始3D数据进行大量预处理,以生成任务特定的表示(如渲染图像、水密网格、SDF场)。这一步骤不仅要求研究者掌握专业的数据处理技能,还带来了巨大的计算负担。尽管开源脚本能部分自动化流程,但处理百万级3D模型仍需消耗海量的GPU/CPU资源,使得预处理成为普惠化研究的“高墙”。

手工建模数据:3D模型数据清洗流水线

腾讯混元团队设计了一套手工建模数据处理流水线,通过自动化过滤与后处理流程,将原始3D资产转化为高质量、训练就绪的数据包。

该流水线首先对海量3D模型进行初步筛选,基于多边形数量阈值、UV映射质量等标准剔除低质资产,确保输入数据的基准质量。在后处理环节,团队通过水密化处理、多视角渲染(提供正交与透视投影图像)以及表面点采样(混合均匀采样与边缘重要性采样)三大步骤,直接输出包含水密网格、渲染图像和点云的标准数据。

这些数据已完全预处理,无需研究者额外操作即可投入3D生成模型(如VAE或Diffusion模型)训练,彻底解决了传统流程中计算资源消耗大、技术门槛高的痛点。

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈
全级别数据处理流水线

部件级分解:像乐高一样拆解3D物体

部件数据处理旨在将整体静态网格智能分解为语义一致的部件集合,为后续部件感知生成任务奠定基础。该流程基于拓扑连通性分析策略,首先通过连通分量分析对3D资产进行初始分割,自动识别网格中物理分离的组件。

例如,一辆车会被分解为车门、轮胎等独立模块,再通过面积阈值合并琐碎零件(如螺丝钉),最终确保每个资产包含2-50个合理部件。这相当于把3D生成从“整块雕刻”升级为“模块化拼装”,直接支持可控部件生成。

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈
部件级数据处理流水线

AIGC合成:用扩散模型“造物”

为解决长尾数据稀缺问题,并支持具身智能仿真等领域的仿真需求,团队打造了三步生成管线进行数据合成:

  • 文本扩展:收集常见商品类别,利用大语言模型生成各个类别下的详细产品描述。
  • 图像生成:借助文生图模型,输出干净背景的RGB图像。
  • 3D生成:调用HY3D-3.0模型将图像转为带有材质的高精度3D资产。
腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈
生成数据流水线

实验结果

团队基于已开源的HY3D-2.1,减小模型大小(参数量832M)并在当前开源手工建模数据集划分出的训练集上重新训练,在提供的测试集上进行测试,采用了渐进式训练策略(从512 token逐步提升至4096 token)。关键数据如下:

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

  • 生成质量:相比优化方法(如SDS),推理速度提升5倍,且避免了“多脸怪”问题。
  • 数据规模:手工建模数据25.2万样本,部件级数据24万样本,合成数据12.5万样本。

手工建模数据大类分布:

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

部件级数据部件数量分布:

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

合成数据大类分布:

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

HY3D-Bench通过构建包含25.2万高质量资产的标准化数据集、24万部件级结构化标注及12.5万AIGC合成样本,为3D生成研究提供了统一的数据基础。它以开源的方式降低了技术门槛,让研究者无需重复“造轮子”,可直接聚焦于模型创新与应用探索。

实验表明,基于该数据训练的轻量模型(Hunyuan3D-2.1-Small)能够有效支持3D生成任务,为相关领域提供了可复现的基准。未来,团队计划扩展更多样的3D资产与多任务适配能力,进一步探索数据驱动方法在3D生成中的潜力。

资源链接
* 数据集下载:https://huggingface.co/datasets/tencent/HY3D-Bench
* 代码地址:https://github.com/Tencent-Hunyuan/HY3D-Bench
* 权重下载:https://huggingface.co/tencent/HY3D-Bench
* 技术报告:https://arxiv.org/pdf/2602.03907


关注“鲸栖”小程序,掌握最新AI资讯

本文来自网络搜集,不代表鲸林向海立场,如有侵权,联系删除。转载请注明出处:https://www.itsolotime.com/archives/20497

(0)
上一篇 2026年2月6日 下午4:18
下一篇 2026年2月6日 下午5:38

相关推荐

  • AI生成低质量视频泛滥YouTube:算法推荐超20%为AI内容,产业化趋势引关注

    你的视频推荐流,正在被AI“吞噬” 一项最新调查发现,YouTube算法向新用户展示的视频中,有超过20%的内容是AI制造的低质量视频。这意味着,我们平时刷到的每5条视频中,可能就有1条是AI快速生成的产物。 不仅如此,这类内容贫乏的AI视频正逐渐走向产业化,甚至演变成一门规模不断扩大的“生意”。 AI低质量视频开始“量产” 这一结论来自美国创意软件公司Ka…

    2026年1月2日
    77800
  • Claude Skills实战指南:5大高效技能组合,打造你的AI自动化工作流

    一、Anthropic 官方 Skills(必装) 🔗 项目地址:https://github.com/anthropics/skills 这是Claude Skills的“官方基座”,也是我建议所有人第一个安装的Skills集合。 为什么一定要装?* 官方最佳实践:你能看到Anthropic官方是如何设计一个「可维护、可扩展、可组合」的Skill。* 覆盖…

    2026年1月29日
    90000
  • LLM驱动的核函数进化:CAKE框架如何革新贝叶斯优化

    在科学与工程实践中,常会遇到计算成本高、评估耗时的函数优化问题,例如复杂机器学习模型的超参数调整或新型材料的设计。贝叶斯优化(Bayesian Optimization,BO)作为针对这类“黑箱”问题的优化方法,已被证明具备良好效果。然而,该方法的性能很大程度上受限于其内部代理模型的选择,特别是当采用高斯过程(Gaussian Process,GP)作为代理…

    2025年12月2日
    35600
  • 阿里开源ROCK:构建智能体规模化训练的“实战演练场”,打通Agentic AI落地关键环节

    在人工智能技术快速演进的当下,大语言模型正经历从静态文本生成到动态环境交互的深刻范式转变。最前沿的模型已进化为能够与外部环境深度交互的Agentic模型,这不仅代表技术层面的进步,更标志着AI应用场景的根本性扩展。当前几乎所有SOTA级模型都具备了多轮交互能力,能够通过工具调用、代码执行、外部API调用等方式与环境进行实质性交互。简单来说,模型仅“能说”已无…

    2025年11月26日
    41700
  • Claude全面接管人类电脑!手机遥控AI 7x24h打工,OpenClaw被绝杀

    太疯了,Claude真的「杀死」了OpenClaw! | —|— 就在刚刚,Claude彻底「虾化」了,正式获批全自主接管全球打工人的电脑。换句话说,从今天开始,凡是能在电脑上完成的操作,Claude都能代劳。 不论是任何APP、浏览器、本地文件,还是复杂的Excel,各类专业工具,它皆能自主访问并操作。而且,仅需一部手机,给Clau…

    2026年3月24日
    42400