腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

3D生成技术如今在可用性上已达到令人惊艳的程度。

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

然而,数据质量参差不齐、评估标准缺失以及长尾类别覆盖不足这三大痛点,依然困扰着该领域的研究者。

针对这些问题,腾讯混元3D团队在最新技术报告《HY3D-Bench: Generation of 3D Assets》中,正式开源了一套革命性的3D内容生成生态系统。

该工作通过自动化数据清洗流水线,从Objaverse等大规模原始库中筛选并处理了25.2万个高质量3D资产,提供包括水密网格、多视角渲染图像在内的“即用型”数据集,同时还包含24万个3D部件分解结果,显著降低了3D生成模型的训练门槛。

此外,为补充学术数据集多样性不足的问题,团队创新性地引入了AIGC驱动合成管道:利用大语言模型生成语义描述、扩散模型生成图像,再通过HY3D-3.0引擎转化为高保真3D资产。该管道均匀覆盖了1252个类别,有效平衡了常见类别与长尾类别之间的数据分布差异。

实验显示,基于该基准训练的轻量级模型(Hunyuan3D-2.1-Small)在生成质量和推理速度上均优于传统方法。该数据集为机器人仿真、虚拟现实等下游应用提供了坚实的数据基础。

数据集组成

高质量基准数据集的可用性始终是制约3D生成模型发展的核心因素。早期基准数据集如ShapeNet虽为3D生成研究奠定了基础,但存在类别覆盖失衡、几何结构简单、数据量不足等根本缺陷,严重限制了模型的泛化能力,长期阻碍着3D生成技术向实用化场景的推进。

尽管Objaverse等大规模数据集的出现打破了这一僵局——其包含数百万个涵盖关节物体、有机形状等复杂几何的模型,为新一代大尺度3D生成模型铺平了道路,但行业仍面临更深刻的挑战:

主流3D生成模型需要对原始3D数据进行大量预处理,以生成任务特定的表示(如渲染图像、水密网格、SDF场)。这一步骤不仅要求研究者掌握专业的数据处理技能,还带来了巨大的计算负担。尽管开源脚本能部分自动化流程,但处理百万级3D模型仍需消耗海量的GPU/CPU资源,使得预处理成为普惠化研究的“高墙”。

手工建模数据:3D模型数据清洗流水线

腾讯混元团队设计了一套手工建模数据处理流水线,通过自动化过滤与后处理流程,将原始3D资产转化为高质量、训练就绪的数据包。

该流水线首先对海量3D模型进行初步筛选,基于多边形数量阈值、UV映射质量等标准剔除低质资产,确保输入数据的基准质量。在后处理环节,团队通过水密化处理、多视角渲染(提供正交与透视投影图像)以及表面点采样(混合均匀采样与边缘重要性采样)三大步骤,直接输出包含水密网格、渲染图像和点云的标准数据。

这些数据已完全预处理,无需研究者额外操作即可投入3D生成模型(如VAE或Diffusion模型)训练,彻底解决了传统流程中计算资源消耗大、技术门槛高的痛点。

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈
全级别数据处理流水线

部件级分解:像乐高一样拆解3D物体

部件数据处理旨在将整体静态网格智能分解为语义一致的部件集合,为后续部件感知生成任务奠定基础。该流程基于拓扑连通性分析策略,首先通过连通分量分析对3D资产进行初始分割,自动识别网格中物理分离的组件。

例如,一辆车会被分解为车门、轮胎等独立模块,再通过面积阈值合并琐碎零件(如螺丝钉),最终确保每个资产包含2-50个合理部件。这相当于把3D生成从“整块雕刻”升级为“模块化拼装”,直接支持可控部件生成。

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈
部件级数据处理流水线

AIGC合成:用扩散模型“造物”

为解决长尾数据稀缺问题,并支持具身智能仿真等领域的仿真需求,团队打造了三步生成管线进行数据合成:

  • 文本扩展:收集常见商品类别,利用大语言模型生成各个类别下的详细产品描述。
  • 图像生成:借助文生图模型,输出干净背景的RGB图像。
  • 3D生成:调用HY3D-3.0模型将图像转为带有材质的高精度3D资产。
腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈
生成数据流水线

实验结果

团队基于已开源的HY3D-2.1,减小模型大小(参数量832M)并在当前开源手工建模数据集划分出的训练集上重新训练,在提供的测试集上进行测试,采用了渐进式训练策略(从512 token逐步提升至4096 token)。关键数据如下:

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

  • 生成质量:相比优化方法(如SDS),推理速度提升5倍,且避免了“多脸怪”问题。
  • 数据规模:手工建模数据25.2万样本,部件级数据24万样本,合成数据12.5万样本。

手工建模数据大类分布:

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

部件级数据部件数量分布:

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

合成数据大类分布:

腾讯混元开源HY3D-Bench:构建3D生成领域的“ImageNet”,破解数据与评估瓶颈

HY3D-Bench通过构建包含25.2万高质量资产的标准化数据集、24万部件级结构化标注及12.5万AIGC合成样本,为3D生成研究提供了统一的数据基础。它以开源的方式降低了技术门槛,让研究者无需重复“造轮子”,可直接聚焦于模型创新与应用探索。

实验表明,基于该数据训练的轻量模型(Hunyuan3D-2.1-Small)能够有效支持3D生成任务,为相关领域提供了可复现的基准。未来,团队计划扩展更多样的3D资产与多任务适配能力,进一步探索数据驱动方法在3D生成中的潜力。

资源链接
* 数据集下载:https://huggingface.co/datasets/tencent/HY3D-Bench
* 代码地址:https://github.com/Tencent-Hunyuan/HY3D-Bench
* 权重下载:https://huggingface.co/tencent/HY3D-Bench
* 技术报告:https://arxiv.org/pdf/2602.03907


关注“鲸栖”小程序,掌握最新AI资讯

本文来自网络搜集,不代表鲸林向海立场,如有侵权,联系删除。转载请注明出处:http://www.itsolotime.com/archives/20497

(0)
上一篇 2026年2月6日 下午4:18
下一篇 2026年2月6日 下午5:38

相关推荐

  • OpenAI内部代码意外泄露:GPT-5.4或已进入测试阶段,可能跳过5.3版本直接发布

    近日,一名OpenAI工程师在公开的Codex GitHub仓库中提交了一则拉取请求(PR),无意间让“GPT-5.4”这一型号出现在代码版本判断条件中,引发了外界关注。 几乎就在这条PR被网友发现的同时,另一条线索也浮出水面。有用户发现,GPT-5.4曾短暂出现在Codex应用的模型选择器里。据称,这张截图最初源自一位OpenAI员工在社交平台X上的发帖,…

    2天前
    4200
  • 智谱冲刺全球大模型第一股:IPO募资43亿港元,GLM-4.7登顶开源与国产双榜

    Jay 发自 凹非寺 全球大模型第一股,进入最后冲刺阶段。 智谱AI正式启动公开招股,股票代码2513。公司预计将于2026年1月8日在香港交易所主板挂牌上市。 根据招股文件披露,本次IPO预计募集资金总额约43亿港元,上市后市值预计将超过511亿港元。 核心信息如下—— 股票名称: 智谱 股份代号: 2513 预募资总额:约43亿港元 IPO预估值:超51…

    2025年12月30日
    34100
  • 算力定价权之争:英伟达如何重塑AI成本结构与行业生态

    近期ChatGPT Plus订阅费从20美元上调至22美元,Claude推出30美元Team档和Max档服务,AI服务集体进入价格调整周期。表面看是OpenAI、Anthropic等模型厂商的定价策略变化,但深入产业链分析会发现,真正的价格推手隐藏在算力供应链的最上游——英伟达通过GPU垄断地位,正在重新定义整个AI行业的基础成本结构。 **算力成本的结构性…

    2025年11月30日
    14400
  • AI生成低质量视频泛滥YouTube:算法推荐超20%为AI内容,产业化趋势引关注

    你的视频推荐流,正在被AI“吞噬” 一项最新调查发现,YouTube算法向新用户展示的视频中,有超过20%的内容是AI制造的低质量视频。这意味着,我们平时刷到的每5条视频中,可能就有1条是AI快速生成的产物。 不仅如此,这类内容贫乏的AI视频正逐渐走向产业化,甚至演变成一门规模不断扩大的“生意”。 AI低质量视频开始“量产” 这一结论来自美国创意软件公司Ka…

    2026年1月2日
    24500
  • 从语言到空间:世界模型如何重塑AI进化的底层逻辑

    近期AI领域两位重量级人物的发声,揭示了人工智能发展路径的重要转向。图灵奖得主杨立昆(Yann LeCun)被曝计划离开Meta,专注于以“世界模型”为核心的新事业;而斯坦福大学教授李飞飞则在社交媒体发表长文,直言大语言模型(LLM)的局限性,并提出“空间智能”才是通往通用人工智能(AGI)的关键。两人不约而同地强调“世界模型”的重要性,这标志着AI研究正从…

    2025年11月17日
    14500