低成本训练
-
扩散式语言模型新突破：仅需50小时微调，BERT实现对话能力
近日，加州大学伯克利分校计算机博士生周展辉与伊利诺伊大学厄巴纳香槟分校计算机博士生陈凌杰领导的团队，在扩散式语言模型（Diffusion Language Model, DLM）领域取得了一项引人注目的进展。他们基于自研的扩散语言模型工具dLLM，通过一项创新实验证明：经典的BERT模型仅需约50 GPU・小时的监督微调，就能获得接近主流小规模生成式语言模型…
近日，加州大学伯克利分校计算机博士生周展辉与伊利诺伊大学厄巴纳香槟分校计算机博士生陈凌杰领导的团队，在扩散式语言模型（Diffusion Language Model, DLM）领域取得了一项引人注目的进展。他们基于自研的扩散语言模型工具dLLM，通过一项创新实验证明：经典的BERT模型仅需约50 GPU・小时的监督微调，就能获得接近主流小规模生成式语言模型…
