腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

3D生成技术如今在可用性上已达到令人惊艳的程度。

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

然而,数据质量参差不齐、评估标准缺失以及长尾类别覆盖不足这三大痛点,依然困扰着该领域的研究者。

针对这些问题,腾讯混元3D团队在最新技术报告《HY3D-Bench: Generation of 3D Assets》中,正式开源了一套革命性的3D内容生成生态系统。

该工作通过自动化数据清洗流水线,从Objaverse等大规模原始库中筛选并处理了25.2万个高质量3D资产,提供包括水密网格、多视角渲染图像在内的“即用型”数据集,同时还包含24万个3D部件分解结果,显著降低了3D生成模型的训练门槛。

此外,为补充学术数据集多样性不足的问题,团队创新性地引入了AIGC驱动合成管道:利用大语言模型生成语义描述、扩散模型生成图像,再通过HY3D-3.0引擎转化为高保真3D资产。该管道均匀覆盖了1252个类别,有效平衡了常见类别与长尾类别之间的数据分布差异。

实验显示,基于该基准训练的轻量级模型(Hunyuan3D-2.1-Small)在生成质量和推理速度上均优于传统方法。该数据集为机器人仿真、虚拟现实等下游应用提供了坚实的数据基础。

数据集组成

高质量基准数据集的可用性始终是制约3D生成模型发展的核心因素。早期基准数据集如ShapeNet虽为3D生成研究奠定了基础,但存在类别覆盖失衡、几何结构简单、数据量不足等根本缺陷,严重限制了模型的泛化能力,长期阻碍着3D生成技术向实用化场景的推进。

尽管Objaverse等大规模数据集的出现打破了这一僵局——其包含数百万个涵盖关节物体、有机形状等复杂几何的模型,为新一代大尺度3D生成模型铺平了道路,但行业仍面临更深刻的挑战:

主流3D生成模型需要对原始3D数据进行大量预处理,以生成任务特定的表示(如渲染图像、水密网格、SDF场)。这一步骤不仅要求研究者掌握专业的数据处理技能,还带来了巨大的计算负担。尽管开源脚本能部分自动化流程,但处理百万级3D模型仍需消耗海量的GPU/CPU资源,使得预处理成为普惠化研究的“高墙”。

手工建模数据:3D模型数据清洗流水线

腾讯混元团队设计了一套手工建模数据处理流水线,通过自动化过滤与后处理流程,将原始3D资产转化为高质量、训练就绪的数据包。

该流水线首先对海量3D模型进行初步筛选,基于多边形数量阈值、UV映射质量等标准剔除低质资产,确保输入数据的基准质量。在后处理环节,团队通过水密化处理、多视角渲染(提供正交与透视投影图像)以及表面点采样(混合均匀采样与边缘重要性采样)三大步骤,直接输出包含水密网格、渲染图像和点云的标准数据。

这些数据已完全预处理,无需研究者额外操作即可投入3D生成模型(如VAE或Diffusion模型)训练,彻底解决了传统流程中计算资源消耗大、技术门槛高的痛点。

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈
全级别数据处理流水线

部件级分解:像乐高一样拆解3D物体

部件数据处理旨在将整体静态网格智能分解为语义一致的部件集合,为后续部件感知生成任务奠定基础。该流程基于拓扑连通性分析策略,首先通过连通分量分析对3D资产进行初始分割,自动识别网格中物理分离的组件。

例如,一辆车会被分解为车门、轮胎等独立模块,再通过面积阈值合并琐碎零件(如螺丝钉),最终确保每个资产包含2-50个合理部件。这相当于把3D生成从“整块雕刻”升级为“模块化拼装”,直接支持可控部件生成。

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈
部件级数据处理流水线

AIGC合成:用扩散模型“造物”

为解决长尾数据稀缺问题,并支持具身智能仿真等领域的仿真需求,团队打造了三步生成管线进行数据合成:

  • 文本扩展:收集常见商品类别,利用大语言模型生成各个类别下的详细产品描述。
  • 图像生成:借助文生图模型,输出干净背景的RGB图像。
  • 3D生成:调用HY3D-3.0模型将图像转为带有材质的高精度3D资产。
腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈
生成数据流水线

实验结果

团队基于已开源的HY3D-2.1,减小模型大小(参数量832M)并在当前开源手工建模数据集划分出的训练集上重新训练,在提供的测试集上进行测试,采用了渐进式训练策略(从512 token逐步提升至4096 token)。关键数据如下:

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

  • 生成质量:相比优化方法(如SDS),推理速度提升5倍,且避免了“多脸怪”问题。
  • 数据规模:手工建模数据25.2万样本,部件级数据24万样本,合成数据12.5万样本。

手工建模数据大类分布:

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

部件级数据部件数量分布:

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

合成数据大类分布:

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

HY3D-Bench通过构建包含25.2万高质量资产的标准化数据集、24万部件级结构化标注及12.5万AIGC合成样本,为3D生成研究提供了统一的数据基础。它以开源的方式降低了技术门槛,让研究者无需重复“造轮子”,可直接聚焦于模型创新与应用探索。

实验表明,基于该数据训练的轻量模型(Hunyuan3D-2.1-Small)能够有效支持3D生成任务,为相关领域提供了可复现的基准。未来,团队计划扩展更多样的3D资产与多任务适配能力,进一步探索数据驱动方法在3D生成中的潜力。

资源链接
* 数据集下载:https://huggingface.co/datasets/tencent/HY3D-Bench
* 代码地址:https://github.com/Tencent-Hunyuan/HY3D-Bench
* 权重下载:https://huggingface.co/tencent/HY3D-Bench
* 技术报告:https://arxiv.org/pdf/2602.03907


关注“鲸栖”小程序,掌握最新AI资讯

本文来自网络搜集,不代表鲸林向海立场,如有侵权,联系删除。转载请注明出处:https://www.itsolotime.com/archives/20497

(0)
上一篇 5天前
下一篇 5天前

相关推荐

  • 清华团队开源Motus:首个统一五大范式的具身世界模型,性能超越Pi-0.5达40%

    清华团队开源Motus:首个统一五大范式的具身世界模型,性能超越Pi-0.5达40% 由生数科技联合清华大学开源的大一统世界模型——Motus,在架构上首次将视觉-语言-动作(VLA)、世界模型、视频生成、逆动力学、视频-动作联合预测这五种具身智能范式统一起来,实现了“看-想-动”的完美闭环。 项目的主要负责人是来自清华大学计算机系朱军教授TSAIL实验室的…

    5天前
    400
  • 用鸿蒙打造儿童教育新体验:《声趣国旗通》背后的技术实践

    项目演示 引言:从痛点到方案 作为一名鸿蒙开发者,我一直在思考:如何用技术让儿童教育变得更有趣? 市面上的国旗学习应用大多停留在“图文展示”层面,缺乏互动性,对于低龄儿童来说认知门槛过高。 于是,我决定用 HarmonyOS 打造一款真正适合孩子的国旗学习应用——《声趣国旗通》。 这款应用的核心理念是:卡通化、超简单、强互动。在开发过程中,我深度体验了鸿蒙最…

    2026年1月13日
    8700
  • Skyvern:用大模型革新浏览器自动化,告别传统RPA的脆弱性

    逛 GitHub 的时候,发现一个叫 Skyvern 的开源项目登上了热榜。这是一个利用 AI 控制浏览器自动化工作流的项目,目前在 GitHub 上已斩获近 2 万的 Star。 01 开源项目简介 在传统的网页自动化 RPA 开发中,最让人头疼的莫过于页面结构的变化。如果你写过 Selenium 或 Puppeteer 脚本,一定经历过因为网站开发者修改…

    2025年12月5日
    8300
  • MiroFish:多智能体博弈推演,AI如何预见特斯拉财报走势?

    数月前,一款名为 BettaFish(微舆)的开源项目悄然崛起,其惊艳的多智能体分析系统打破了互联网信息茧房,随后连续多日霸榜 GitHub Trending。 在持续多轮的暴涨后,项目已累积斩获 34000+ Star,成为当之无愧的现象级爆款。 项目爆火后,这位 20 岁的开发者并未止步。基于 BettaFish 看清当下的能力,他希望更进一步,让 AI…

    2026年1月13日
    12000
  • AI赋能Web 3D革命:Three.js周下载量突破400万,艺术生退学打造的开源传奇

    一个并不常被普通用户提起的开源项目,刚刚刷新了自己的历史纪录。 近日,Three.js 官方 X 账号公布:Three.js 每周下载量已突破 400 万。 你或许没用过 Three.js,也未必听过它的名字,但你大概率已经见过它的作品。那些可以旋转的 3D 商品展示页、会随鼠标晃动的官网首页、可交互的数据可视化,甚至一些看似只是酷炫动画的 Web 页面背后…

    2026年2月2日
    7900