执行摘要

• 一句话：提取 KV cache dtype 配置到独立模块
• 推荐动作：本 PR 是模型友好的机械式提取，建议合并。但应跟进修复 review 中指出的 fp4_e2m1 回退逻辑问题，并考虑添加相应的单元测试来验证提取前后的行为等价性。对于后续类似提取，建议采用相同的渐进方法（先做局部解耦再移动），以降低风险。

功能与动机

PR body 和 commit messages 明确指出目的是逐步将 configure_kv_cache_dtype 从 ModelRunner 中提取出来，减少其职责和文件大小，并为后续缓存配置管理的统一重组做准备。引用 PR body 中的描述：'Prep configure_kv_cache_dtype for extraction'、'Move configure_kv_cache_dtype + TORCH_DTYPE_TO_KV_CACHE_STR to mem_cache.kv_cache_dtype'。

实现拆解

1. 方法改造为静态函数：在 model_runner.py 中将 configure_kv_cache_dtype 改为 @staticmethod，接受关键字参数，返回 (resolved_kv_cache_dtype, kv_cache_dtype) 二元组。调用侧进行解包并记录 resolved 字符串。此步保持位置不变，为安全移动做准备。
2. 剪切到目标模块：将静态函数以及模块级字典 TORCH_DTYPE_TO_KV_CACHE_STR 剪切到 python/sglang/srt/mem_cache/kv_cache_dtype.py，作为模块级函数。同时在新模块顶部添加必要导入 (torch, nn, fp8_dtype, is_hip) 和模块级 _is_hip 缓存。
3. 原位置包装：在 ModelRunner 中重新添加同名方法，内部调用 kv_cache_dtype.configure_kv_cache_dtype，传递所需参数，并将返回值赋值给实例变量。确保通过模块导入而非直接引入函数符号。
4. 消除 ServerArgs 依赖：最后一步将原本从 self.server_args.kv_cache_dtype 读取的值改为通过参数 server_args_kv_cache_dtype 直接传入，使得函数不再依赖完整的 ServerArgs 对象。同时将 DFLASH 特殊处理内联到提取后的函数中。
5. 调整导入：在 model_runner.py 中移除对 fp8_dtype 的导入，新增 from sglang.srt.mem_cache import kv_cache_dtype。

关键文件：

• python/sglang/srt/mem_cache/kv_cache_dtype.py（模块 缓存层；类别 source；类型 core-logic；符号 configure_kv_cache_dtype）: 新增模块，集中了 KV cache dtype 配置函数和 dtype 映射字典，是提取的目标文件
• python/sglang/srt/model_executor/model_runner.py（模块 模型执行器；类别 source；类型 data-contract；符号 configure_kv_cache_dtype）: 被修改的文件，移除了 configure_kv_cache_dtype 方法主体和字典，替换为对 kv_cache_dtype 模块的调用，并调整了导入

关键符号：configure_kv_cache_dtype

评论区精华

Gemini Code Assist bot 在唯一的 review 评论中指出两个问题：

• 误导性回退：当 server_args_kv_cache_dtype == 'fp4_e2m1' 且 torch 不支持时，警告日志说回退到 'auto' 但实际上直接使用了 model_dtype = self.dtype，完全跳过了 auto 分支的 FP8 检测。

• 潜在 KeyError：日志字符串查找时如果映射字典中不存在对应 key 可能引发错误。
  评论提供了一个重构后的实现建议。由于该评论未得到作者回应，问题处于未解决状态。

• FP4 fallback 逻辑和 KeyError 潜在问题 (correctness): 由于合并者即为作者且无后续交互，该评论未得到解决。

风险与影响

• 风险：
  1. 回退逻辑不一致：fp4_e2m1 分支的 fallback 行为与日志警告不符，如果在不支持 FP4 的环境中用户模型启用了 FP8 量化，预期回退到 'auto'（可能使用 FP8），但实际使用了 model_dtype，导致精度或性能变化。该 bug 在提取前已存在，但提取时未被修复。
  2. 缺乏测试覆盖：本次变更未包含任何测试（单元/集成），无法保证提取后的行为完全等价，尤其是在边界情况下（如 draft worker 与 DFLASH 组合）。
  3. 导入依赖：新模块引入了对 sglang.kernels 和 sglang.srt.utils 的依赖，可能增加循环导入风险。但检查后发现路径清晰，风险低。
     - 影响：用户：无功能性变化，不感知。系统：将 KV cache dtype 配置逻辑集中在 mem_cache 包下，为后续统一缓存配置管理（如 KVCacheConfigurator）提供了更清晰的接口边界。团队：降低了 ModelRunner 的认知负荷和文件行数，使得每个模块职责更加单一，便于单元测试和独立演进。
     - 风险标记：潜在回退逻辑错误, 缺少测试覆盖

关联脉络

• PR #31162 Introduce KVCacheConfigurator and migrate KV-cache config logic: 本 PR 提取 KV cache dtype 配置到 mem_cache，而 #31162 进一步引入了 KVCacheConfigurator 来管理缓存配置，两者构成缓存配置模块化的上下游关系。
• PR #31163 Extract per-architecture KV-cache pool builders into KVCacheConfigurator: 紧接 #31162，将池构建逻辑也集中到 KVCacheConfigurator，与本 PR 共同完善 KV 缓存层的职责拆分。