在线 NVFP4 打包改为逐专家直接量化,去除中间舍入损耗
值得精读。这是一个很小的修复,但演示了两个关键工程判断:第一,量化链路上每个中间 cast 都是精度损失点,'fold 后先 cast 回原 dtype 再量化' 与 '直接把 FP32 scale 传给量化内核' 在数学上等价、位模式上不等价;第二,用 bit-for-bit 一致性测试把这类隐性精度问题锁死。建议同时参考 aoshen02 的基准方法(f32 复现量化器、302M 元素 dequant 误差比较)和 #51125 的 w13 shard 分配分析。
参与讨论