SM120 融合 QKNorm+RoPE 舍入修复,回归通过
值得精读。这是一个典型的“编译器收缩破坏 bit-exact 语义”案例:单个头文件内用模板 `constexpr if` + 架构宏 + `asm volatile` 组合,为 SM120 强制 round-to-nearest 舍入顺序,同时为 pre-SM120 保留逐字节不变的旧算术。可重点关注:PTX `mul.rn` / `add.rn` / `sub.rn` 的位模式处理方式、`bf16_t` 与 `__half` 的统一分支写法,以及用架构 guard 控制风险面的设计。建议后续为 SM120 增加更细的独立回归用例,覆盖两种 rotary 布局与 dtype 组合。
参与讨论