执行摘要

• 一句话：修复 FP4 KV 缓存初始化时类名引用错误
• 推荐动作：该 PR 是一次标准的 bugfix，值得快速合并。推荐所有使用 FP4 量化（如 Kimi K2.6 NVFP4）的团队关注此修复。审阅者提出的测试补充建议值得肯定，但后续应将测试文件注册到 CI 中以防止回归。

功能与动机

21954 将 KVFP4QuantizeUtil 重命名为 BlockFP4KVQuantizeUtil，但未更新 memory_pool.py 中的 14 处调用点，导致任何启用 FP4 KV 缓存配置（--kv-cache-dtype fp4_e2m1）的 sgl server 启动时均抛出 ImportError: cannot import name 'KVFP4QuantizeUtil'，使模型无法正常启动。

实现拆解

变更分为以下两步：

1. 修正 memory_pool.py 中的导入和调用：将文件中所有 KVFP4QuantizeUtil.batched_quantize、KVFP4QuantizeUtil.batched_dequantize 的调用替换为 BlockFP4KVQuantizeUtil，对应 7 处导入语句的更新（_get_key_buffer、_get_value_buffer、set_kv_buffer、HybridLinearKVPool.get_key_buffer、HybridLinearKVPool.set_kv_buffer、set_mla_kv_buffer）。
2. 修正测试文件中的引用：在 test/manual/quant/test_kvfp4_quant_dequant.py 中将 KVFP4QuantizeUtil 替换为 BlockFP4KVQuantizeUtil，同步更新 5 处调用（包括 run_benchmark 函数中的 quantize 和 dequantize 调用）。

关键文件：

• python/sglang/srt/mem_cache/memory_pool.py（模块 缓存层；类别 source；类型 dependency-wiring）: 核心修复文件，包含 7 处 KVFP4QuantizeUtil → BlockFP4KVQuantizeUtil 的替换，涉及 _get_key_buffer、_get_value_buffer、set_kv_buffer 等关键方法。
• test/manual/quant/test_kvfp4_quant_dequant.py（模块 量化测试；类别 test；类型 test-coverage）: 同步修正测试文件中的类名引用，保证手动测试可正常运行，但未注册到 CI 中。

关键符号：_get_key_buffer, _get_value_buffer, set_kv_buffer, run_benchmark

关键源码片段

python/sglang/srt/mem_cache/memory_pool.py

核心修复文件，包含 7 处 KVFP4QuantizeUtil → BlockFP4KVQuantizeUtil 的替换，涉及 _get_key_buffer、_get_value_buffer、set_kv_buffer 等关键方法。

# file: python/sglang/srt/mem_cache/memory_pool.py
# 在 _get_key_buffer 中的局部导入更新
from sglang.srt.layers.quantization.kvfp4_tensor import (
    BlockFP4KVQuantizeUtil,
)
# 在 set_kv_buffer 中的使用
cache_k, cache_k_fp4_sf = BlockFP4KVQuantizeUtil.batched_quantize(cache_k)
cache_v, cache_v_fp4_sf = BlockFP4KVQuantizeUtil.batched_quantize(cache_v)

评论区精华

审阅者 alphabetc1 在 PR 评论中提出“Could u also fix the import in test_kvfp4_quant_dequant.py?”，促使作者补充了测试文件中的类名修正。此外，alphabetc1 尝试使用 /rerun-test test_kvfp4_quant_dequant.py 触发 CI，但 CI bot 回复未找到对应的注册测试文件，表明该测试文件虽被修正但尚未集成到 CI 注册列表中。

• 测试文件修正 (testing): 作者在下一个提交中同步修正了测试文件的引用。
• CI 测试触发失败 (testing): 该测试文件位于 test/manual/ 目录下，不在 CI 注册列表中，CI 无法自动执行。

风险与影响

• 风险：风险极低：
  • 变更是机械的搜索替换，仅将旧类名 KVFP4QuantizeUtil 替换为新类名 BlockFP4KVQuantizeUtil，不涉及逻辑变更。
  • 测试文件中的类名引用也被同步修正，但该测试文件未在 CI 注册中（test/registered/ 下不存在），因此 CI 不会自动执行，存在手动运行测试的遗漏风险。
  • 无回归风险，因为旧类名在新版本中已不存在，原代码必然会报错。
• 影响：影响范围仅限于 FP4 KV 缓存场景：
  • 用户：启用 --kv-cache-dtype fp4_e2m1 的用户可以正常启动服务，不再遇到 ImportError。
  • 系统：无性能影响，仅修复导入错误。
  • 团队：无额外维护负担，但应确保类似重命名操作时使用全局搜索工具覆盖所有引用。
  • 风险标记：测试未注册 CI, 低风险机械替换

关联脉络

• PR #21954 Rename KVFP4QuantizeUtil to BlockFP4KVQuantizeUtil: 本 PR 的变更直接源于 #21954 中遗漏的引用更新，两者属于同一个功能线的前后关系。