3D生成技术如今在可用性上已达到令人惊艳的程度。

然而,数据质量参差不齐、评估标准缺失以及长尾类别覆盖不足这三大痛点,依然困扰着该领域的研究者。
针对这些问题,腾讯混元3D团队在最新技术报告《HY3D-Bench: Generation of 3D Assets》中,正式开源了一套革命性的3D内容生成生态系统。
该工作通过自动化数据清洗流水线,从Objaverse等大规模原始库中筛选并处理了25.2万个高质量3D资产,提供包括水密网格、多视角渲染图像在内的“即用型”数据集,同时还包含24万个3D部件分解结果,显著降低了3D生成模型的训练门槛。
此外,为补充学术数据集多样性不足的问题,团队创新性地引入了AIGC驱动合成管道:利用大语言模型生成语义描述、扩散模型生成图像,再通过HY3D-3.0引擎转化为高保真3D资产。该管道均匀覆盖了1252个类别,有效平衡了常见类别与长尾类别之间的数据分布差异。
实验显示,基于该基准训练的轻量级模型(Hunyuan3D-2.1-Small)在生成质量和推理速度上均优于传统方法。该数据集为机器人仿真、虚拟现实等下游应用提供了坚实的数据基础。
数据集组成
高质量基准数据集的可用性始终是制约3D生成模型发展的核心因素。早期基准数据集如ShapeNet虽为3D生成研究奠定了基础,但存在类别覆盖失衡、几何结构简单、数据量不足等根本缺陷,严重限制了模型的泛化能力,长期阻碍着3D生成技术向实用化场景的推进。
尽管Objaverse等大规模数据集的出现打破了这一僵局——其包含数百万个涵盖关节物体、有机形状等复杂几何的模型,为新一代大尺度3D生成模型铺平了道路,但行业仍面临更深刻的挑战:
主流3D生成模型需要对原始3D数据进行大量预处理,以生成任务特定的表示(如渲染图像、水密网格、SDF场)。这一步骤不仅要求研究者掌握专业的数据处理技能,还带来了巨大的计算负担。尽管开源脚本能部分自动化流程,但处理百万级3D模型仍需消耗海量的GPU/CPU资源,使得预处理成为普惠化研究的“高墙”。
手工建模数据:3D模型数据清洗流水线
腾讯混元团队设计了一套手工建模数据处理流水线,通过自动化过滤与后处理流程,将原始3D资产转化为高质量、训练就绪的数据包。
该流水线首先对海量3D模型进行初步筛选,基于多边形数量阈值、UV映射质量等标准剔除低质资产,确保输入数据的基准质量。在后处理环节,团队通过水密化处理、多视角渲染(提供正交与透视投影图像)以及表面点采样(混合均匀采样与边缘重要性采样)三大步骤,直接输出包含水密网格、渲染图像和点云的标准数据。
这些数据已完全预处理,无需研究者额外操作即可投入3D生成模型(如VAE或Diffusion模型)训练,彻底解决了传统流程中计算资源消耗大、技术门槛高的痛点。
△ 全级别数据处理流水线
部件级分解:像乐高一样拆解3D物体
部件数据处理旨在将整体静态网格智能分解为语义一致的部件集合,为后续部件感知生成任务奠定基础。该流程基于拓扑连通性分析策略,首先通过连通分量分析对3D资产进行初始分割,自动识别网格中物理分离的组件。
例如,一辆车会被分解为车门、轮胎等独立模块,再通过面积阈值合并琐碎零件(如螺丝钉),最终确保每个资产包含2-50个合理部件。这相当于把3D生成从“整块雕刻”升级为“模块化拼装”,直接支持可控部件生成。
△ 部件级数据处理流水线
AIGC合成:用扩散模型“造物”
为解决长尾数据稀缺问题,并支持具身智能仿真等领域的仿真需求,团队打造了三步生成管线进行数据合成:
- 文本扩展:收集常见商品类别,利用大语言模型生成各个类别下的详细产品描述。
- 图像生成:借助文生图模型,输出干净背景的RGB图像。
- 3D生成:调用HY3D-3.0模型将图像转为带有材质的高精度3D资产。
△ 生成数据流水线
实验结果
团队基于已开源的HY3D-2.1,减小模型大小(参数量832M)并在当前开源手工建模数据集划分出的训练集上重新训练,在提供的测试集上进行测试,采用了渐进式训练策略(从512 token逐步提升至4096 token)。关键数据如下:

- 生成质量:相比优化方法(如SDS),推理速度提升5倍,且避免了“多脸怪”问题。
- 数据规模:手工建模数据25.2万样本,部件级数据24万样本,合成数据12.5万样本。
手工建模数据大类分布:

部件级数据部件数量分布:

合成数据大类分布:

HY3D-Bench通过构建包含25.2万高质量资产的标准化数据集、24万部件级结构化标注及12.5万AIGC合成样本,为3D生成研究提供了统一的数据基础。它以开源的方式降低了技术门槛,让研究者无需重复“造轮子”,可直接聚焦于模型创新与应用探索。
实验表明,基于该数据训练的轻量模型(Hunyuan3D-2.1-Small)能够有效支持3D生成任务,为相关领域提供了可复现的基准。未来,团队计划扩展更多样的3D资产与多任务适配能力,进一步探索数据驱动方法在3D生成中的潜力。
资源链接
* 数据集下载:https://huggingface.co/datasets/tencent/HY3D-Bench
* 代码地址:https://github.com/Tencent-Hunyuan/HY3D-Bench
* 权重下载:https://huggingface.co/tencent/HY3D-Bench
* 技术报告:https://arxiv.org/pdf/2602.03907
关注“鲸栖”小程序,掌握最新AI资讯
本文来自网络搜集,不代表鲸林向海立场,如有侵权,联系删除。转载请注明出处:https://www.itsolotime.com/archives/20497
