执行摘要
该 PR 为 SGLang 引入了 NVFP4 量化模型的 Marlin fallback 功能，使非 Blackwell GPU（计算能力 SM75+）能够运行 FP4 模型，解决之前因最小能力要求为 100 而崩溃的问题。通过修复内核 scale stride 错误、新增工具模块和自动检测逻辑，实现对现有路径零影响，但需关注测试覆盖率和 PCG 兼容性风险。
功能与动机
动机：Issue #19491 报告 NVFP4-quantized 模型（如 nvidia/Llama-3.1-8B-Instruct-NVFP4）在非 Blackwell GPU（如 A100、RTX 3090）上立即崩溃，因为 get_min_capability() 返回 100。这迫使用户回退到准确性较低的量化或切换到已支持 Marlin fallback 的 vLLM。本 PR 旨在为 SGLang 提供等效功能，提升硬件兼容性。
关键表述：PR body 中指出“Weights remain compressed in FP4 — no VRAM explosion”和“Fully automatic — no user-side flags needed”。
实现拆解
实现按模块拆解如下：
| 模块 |
关键变更 |
说明 |
| 工具模块 |
新增 marlin_utils_fp4.py |
提供 is_fp4_marlin_supported、apply_fp4_marlin_linear 等函数，处理 scale 转换和推理逻辑。 |
| JIT kernel |
修改 marlin_template.h（JIT 和 sgl-kernel） |
修复 FP4 scale stride 计算，对齐 vLLM 实现，例如将 s_gl_stride 从 prob_n / 8 改为 prob_n / 16（仅 FP4 路径）。 |
| 量化方案 |
修改 compressed_tensors_w4a4_nvfp4.py、modelopt_quant.py 等 |
将 get_min_capability 从 100 改为 75，集成 fallback 逻辑，自动触发 Marlin 路径当 GPU 非 Blackwell 且 SM≥75。 |
| MoE 支持 |
修改 marlin_moe/marlin_template.h、fused_marlin_moe.py |
类似修复，并添加 global_scale 参数以支持 FP4 Marlin 模式。 |
| 环境配置 |
新增 SGLANG_FORCE_NVFP4_MARLIN 环境变量 |
用于强制启用 fallback 以进行调试。 |
关键代码示例（来自 marlin_utils_fp4.py）：
def should_use_fp4_marlin_fallback() -> bool:
from sglang.srt.environ import envs
from sglang.srt.layers.quantization.fp8_utils import is_blackwell_supported
force = envs.SGLANG_FORCE_NVFP4_MARLIN.get()
return (force or not is_blackwell_supported()) and is_fp4_marlin_supported()
评论区精华
review 讨论中的精华点：
- 测试覆盖率争议：BBuf 指出“The new tests mostly check shape/dtype and that the output is not NaN, but they do not compare the new FP4 Marlin path against a reference implementation numerically.” 这揭示了潜在正确性风险。
- PCG/tracing 问题：BBuf 提到“apply_fp4_marlin_linear() is still a plain Python helper called directly from the linear paths”，可能破坏图编译，参考 PR #20119。
- 代码重复建议：gemini-code-assist[bot] 建议“refactoring this logic into a shared helper function”以减少维护负担。
- 环境变量澄清：DarkSharpness 问“Does this have some performance advantage on Blackwell?”，作者回复“No performance advantage. Blackwell's native FP4 is the default and faster.”
风险与影响
技术风险：
- 内核变更涉及 scale stride 计算，若错误可导致输出错误，但已通过条件语句隔离 FP4 路径。
- 测试缺乏数值验证，可能掩盖回归错误，需补充与参考实现的对比测试。
- PCG/tracing 支持不完整，可能影响动态图编译，需后续修复。
- 新增逻辑复杂度高，增加长期维护成本。
影响分析：
- 用户受益于更广的硬件支持，可在主流 GPU 上运行 FP4 模型，提升可用性。
- 系统性能依赖于 Marlin kernel 效率，权重保持压缩，但可能略慢于原生 Blackwell 路径。
- 团队需维护新增模块，并处理跨平台兼容性问题。
关联脉络
本 PR 是 SGLang 量化功能演进的一部分：
- 与 PR #20119 直接相关，后者解决了 FP8 Marlin 的 PCG/tracing 问题，提示本 PR 可能需类似处理。
- 历史 PR 如 #22170 和 #22131 显示仓库持续优化 JIT kernel 和性能，本 PR 延续了这一趋势。
- 从近期 PR 看（如 #22148 统一
think_end_id），团队注重代码一致性和重构，本 PR 的代码重复问题可视为待改进点。
整体上，该功能扩展了 SGLang 的量化支持，向更广泛的硬件生态迈进。
参与讨论