执行摘要

• 一句话：修复 Qwen3-Next 分离部署中 KV pool 缺少 end_layer 属性导致的崩溃
• 推荐动作：此 PR 是必须的快速修复，改动虽小但影响关键路径。建议阅读以了解类似模式的使用（getattr 防御性访问），未来在定义 KV pool 接口时注意统一属性契约。

功能与动机

PR #24704 无条件读取 self.token_to_kv_pool.end_layer，但 Qwen3-Next 使用的 HybridLinearKVPool 只定义了 start_layer，导致 AttributeError: 'HybridLinearKVPool' object has no attribute 'end_layer'。prefill_end_layer 仅对压缩 MLA 池（如 DeepSeek-V4）有意义，下游 conn.py 已使用 getattr(..., None)，因此上游也应做安全处理。

实现拆解

1. conn.py：将 KVArgs.prefill_end_layer 的类型标注从 int 改为 Optional[int]，明确该字段可能为 None。
2. prefill.py：在 _init_kv_manager 中，将直接访问 self.token_to_kv_pool.end_layer 改为 getattr(self.token_to_kv_pool, "end_layer", None)，当 KV pool 没有 end_layer 属性时返回 None。
3. 该改动向下兼容：对于 DeepSeek-V4 等具有 end_layer 属性的 KV pool，行为不变；对于 HybridLinearKVPool，则优雅地传递 None。

关键文件：

• python/sglang/srt/disaggregation/prefill.py（模块 分离式Prefill；类别 source；类型 core-logic；符号 _init_kv_manager）: 核心修复文件：将直接属性访问改为 getattr 安全访问，避免 AttributeError。
• python/sglang/srt/disaggregation/base/conn.py（模块 连接层；类别 source；类型 data-contract；符号 KVArgs）: 修改 KVArgs 类型定义，将 prefill_end_layer 改为 Optional[int]，与下游安全访问一致。

关键符号：_init_kv_manager

关键源码片段

python/sglang/srt/disaggregation/prefill.py

核心修复文件：将直接属性访问改为 getattr 安全访问，避免 AttributeError。

def _init_kv_manager(self) -> CommonKVManager:
    kv_args_class = get_kv_class(self.transfer_backend, KVClassType.KVARGS)
    kv_args = kv_args_class()
    kv_args.engine_rank = self.tp_rank
    kv_args.pp_rank = self.pp_rank
    kv_args.system_dp_rank = self.scheduler.ps.dp_rank
    kv_args.prefill_start_layer = self.token_to_kv_pool.start_layer
    # 使用 getattr 兼容缺少 end_layer 属性的 KV pool（如 Qwen3-Next 的 HybridLinearKVPool）
    kv_args.prefill_end_layer = getattr(self.token_to_kv_pool, "end_layer", None)
    kv_args.mla_compression_ratios = None
    # 省略后续代码 ...

python/sglang/srt/disaggregation/base/conn.py

修改 KVArgs 类型定义，将 prefill_end_layer 改为 Optional[int]，与下游安全访问一致。

@dataclass
class KVArgs:
    # 其他字段 ...
    prefill_start_layer: int
    # 此字段仅对压缩 MLA 池有意义，Qwen3-Next 等非 MLA 模型可能不提供，故设为 Optional
    prefill_end_layer: Optional[int]
    mla_compression_ratios: Optional[List[int]]
    # 其他字段 ...

评论区精华

该 PR 没有 review 评论。合并者 ShangmingCai 直接批准，gemini-code-assist[bot] 自动评论确认变更内容但未提供额外反馈。

• 暂无高价值评论线程

风险与影响

• 风险：低风险。仅两行改动，使用 getattr 安全访问，不改变现有逻辑。下游消费者（如 conn.py 中的 BaseKVManager）已通过 getattr 处理 prefill_end_layer 为 None 的情况。未引入新的依赖或配置变动。
• 影响：
  1. 用户影响：修复 Qwen3-Next 在分离部署（disaggregation）模式下的启动崩溃，使其能够正常使用该特性。
  2. 系统影响：无性能影响，仅增强健壮性。
  3. 团队影响：无，这是对前期 PR #24704 的缺陷修复。
     - 风险标记：影响分离部署启动流程

关联脉络

• PR #24704 feat: add Pipeline Parallelism (PP) and PD support for DeepSeek-V4: 本 PR 修复了 #24704 引入的回归：无条件读取 end_layer 导致 HybridLinearKVPool 崩溃。