多模态统一
-
百度ERNIE 5.0：万亿参数统一多模态大脑，原生自回归架构颠覆AI设计范式
克雷西 发自 凹非寺 模型发布近3个月后，百度ERNIE 5.0的技术报告终于公布。 其底座采用超级稀疏的Ultra-Sparse MoE架构，参数量高达万亿，但推理时真正激活的参数不到3%，是目前公开模型中首个实现这一规模的统一自回归模型。 在架构设计上，ERNIE 5.0拒绝“拼接”，真正实现了文本、图像、视频和音频四种模态的原生自回归统一，让所有模态从…
克雷西 发自 凹非寺 模型发布近3个月后，百度ERNIE 5.0的技术报告终于公布。 其底座采用超级稀疏的Ultra-Sparse MoE架构，参数量高达万亿，但推理时真正激活的参数不到3%，是目前公开模型中首个实现这一规模的统一自回归模型。 在架构设计上，ERNIE 5.0拒绝“拼接”，真正实现了文本、图像、视频和音频四种模态的原生自回归统一，让所有模态从…
