vllm-project/vllm · 标签视图

DSv4.1 接入 DeepGEMM Mega-mHC 融合核

建议精读，重点看三处：(1) `vllm/models/deepseek_v41/nvidia/ops/mega_mhc.py` 的分派条件与返回契约——它决定了哪些请求会走新内核、哪些留在 TileLang，是理解本 PR 行为边界的关键；(2) `vllm/utils/deep_gemm.py` 的惰性符号探测，理解「依赖缺失 = 静默降级」的设计取舍，评估是否要为生产环境补一条 warning 或能力探测指标；(3) `tests/kernels/test_mhc_kernels.py::test_deep_gemm_mega_mhc_correctness` 中的容差选择与 stream 预热 + CUDA graph replay 写法，这是判断数值安全边际的直接证据。若团队在 SM100 上跑 DSv4.1，建议在升级后对 mHC 阶段做一次 PTQ/精度回归对比，并确认部署环境的 DeepGEMM 确实提供 `mega_mhc`。

PCP 支持 decode-only FULL CUDA 图并统一捕获输入准备

值得精读，但重点看三处：一是 `partition_batch` 中 `num_reqs_after_padding` 的切片语义（真实行 vs padding 行的零值约定），它决定 FULL 图重放的 shape 契约；二是 `PCPManager.prepare_inputs_to_capture` 与 `get_dummy_block_tables` 的持久 buffer / rank-local 表策略，这是图捕获地址稳定的前提；三是 `validate_config` 如何用 `separate_routine()` 表达「decode 可以 FULL、prefill 不行」这一约束。建议同时阅读 pisceskkk/vllm#8 的重构提案，理解 maintainer 为何要求把 InputBatch 贯穿捕获准备。若计划在生产启用 `FULL_DECODE_ONLY`，建议先自行复现多步复用 buffer、请求数波动场景下的 seq_lens padding 行为。

修复稀疏 MLA 分片 cudagraph 下的启动崩溃

推荐精读，尤其是正在处理 cudagraph / 流同步 / 稀疏注意力后端的工程师： 1. 重点看 `set_logical_topk_ready` 与 `_convert_once` 成对守卫的设计——它示范了“生产者停止 record、消费者回退 wait_stream”这种成对修改模式，避免留下半废弃的同步原语。 2. 关注 `in_piecewise_cudagraph()` 放在 `vllm/forward_context.py` 的取舍：为什么不放在 attention 目录下，以及它的捕获/回放双阶段语义（注释里明确写了 at capture or replay time）。 3. 借鉴 PR body 的排查方法论：最小复现（脱离 vLLM 的 10 行 CUDA 复现）+ bisect 定位引入 PR + duplicate check，是排查“只在特定 cudagraph 模式出现”的崩溃的模板。 4. 若后续要改这块代码，建议先补两条测试：FULL 模式仍走 `wait_event` 的断言，以及 hisparse `copy_stream` 在 piecewise 下的显式回归用例。

DeepEP v2 combine 异步化，解码 ITL 降 5-9%

值得精读，尤其是维护 MoE 专家并行、cudagraph 捕获区域或 DeepEP 相关代码的工程师。建议重点关注四个设计决策：(1) 把 `do_async` 从「被忽略的参数」变成真正的行为开关，`combine_async = do_async and not dbo_enabled()` 的内联回退如何与 HT 实现保持一致；(2) receiver 闭包 + `event.current_stream_wait()` 的图重放安全模式——为什么不能在这里做 host 同步、`combined_x` 与 event 的生命周期由谁持有；(3) 删除 env gate 与能力门控的权衡，读起来要与 PR 描述里的早期形态区分开，PR body 描述的 `VLLM_DEEPEP_V2_COMBINE_OVERLAP`、log-once、capture 期 `RuntimeError` 都是历史版本；(4) 契约测试的设计思路——用假 buffer 断言调用参数与 join 时序，而非伪造数值。后续若有条件，建议补一版最终 head 的 EP8 A/B、prefill/大 M 场景以及无 shared expert MoE 的 GPU 覆盖，并在 DeepEP 版本升级时回归 event 契约。

补全惰性流切换跨流依赖，修复 MoE 乱序读取

值得精读：5 行修复背后是完整的 CUDA 流序语义分析（`cudaStreamNonBlocking`、有副作用的 getter、故障/静默误路由/正确三种后果分类）。建议关注两点：vLLM 通过 patch `torch.cuda.set_stream` 维护 TLS 的流管理设计，以及为惰性切换补充回归测试的后续工作。

ROCm DSA decode 掩码改为按行 end 步进，省去整宽写 padding

值得精读。该 PR 是“针对特定硬件实测调优 + 严格正确性测试”的教科书式内核优化：① 通过让成本跟随数据而非 workspace 来消除死写；② 通过 grid 静态化兼容 FULL cudagraph；③ 通过“只比较 [0, end) 区域”的契约测试 + 变异验证证明测试非空洞；④ 主动说明测量局限并采用 per-kernel 归因。建议重点学习其测试设计（`test_leaves_columns_past_end_untouched` 锁定性能来源、`test_cudagraph_replay_tracks_changing_ends` 锁定图重放语义）以及“共享 kernel 不动、变体挂调用侧”的平台差异化策略。

Voxtral Realtime 解码接入完整 CUDAGraph，吞吐提升 10%-24%

值得精读。该 PR 是理解 vLLM V1 CUDAGraph 与 attention backend 契约的极好样例：`_cudagraph_support` 能力声明、持久缓冲区 + 就地 `copy_`、禁用会绕过自定义 metadata 的快速路径，这三个手法组合起来解决了“捕获期地址固化”这一核心约束。关注重点：`WhisperCausalAttentionWithBlockPoolingBuilder.build` 的重写方式，以及 `voxtral_realtime.py` 中 `mixed_mode()` 断言的语义。

Proton 支持 CUDA Graph 归因，MRV2 剖析回放内核

值得精读，特别是三处设计：一是 `VllmConfig._validate_profiler_config()` 的校验时机选择（在所有解析/归一化之后），这是配置门控的最佳实践；二是 `ProtonProfilerWrapper` 用 phase API 分离 capture 活动与 profiling 数据的生命周期管理模式，可复用于其他异步采集后端；三是"单一 owner"原则如何驱动了 periodic_flushing 的互斥设计。建议后续跟进两个未解决的 Codex 边界（活跃期重捕获、encoder-only 判定），并考虑为 `capture_cuda_graphs` 增加活跃间隔保护。