NVFP4量化

关键词： NVFP4、Quartet II、MS-EDEN、无偏梯度估计、低比特训练 随机舍入（Stochastic Rounding，SR）是一种将数值映射到有限、离散的低精度网格的技术。与标准的“四舍五入到最近值”不同，SR根据数值与两个最近网格点之间的距离，按概率决定“向上舍入”或“向下舍入”。作为低精度训练中的一项基础技术，它通过引入随机性来换取梯度…

关键词： NVFP4 、Four Over Six（4/6）、大型语言模型（LLM）、自适应块缩放 、低精度训练 、 后训练量化（PTQ） Four Over Six: More Accurate NVFP4 Quantization with Adaptive Block Scaling 代码： https://github.com/mit-han-lab…