#33471 runtime: Add flashinfer rmsnorm + quant fusion support SM90, SM100, SM120- #32994
原始 PR · 作者 DevashishLal-CB · 合并时间 2026-08-09 20:15
新增 flashinfer RMSNorm+FP8 量化融合,支持 SM90/100/120
值得精读 PR,尤其关注 `layernorm.py` 中如何用特征探测安全地启用融合路径、`fp8_utils.py` 如何通过 `pre_quant_output_dtype` 保持 dtype 契约。该模式可作为后续 kernel fusion 接入的参考模板。注意目前仅 LLaMA / Qwen2 两个模型接入,若有相关模型需求可参照推进。