Prhub

vllm-project/vllm · 标签视图

标签列表

bugfix · 911
performance · 486
refactor · 476
test · 423
feature · 397
cleanup · 359
model · 305
v1 · 299
rocm · 271
quantization · 264
kernel · 212
ci/build · 208
frontend · 204
documentation · 187
kv-connector · 187
nvidia · 186
multi-modality · 162
moe · 145
deepseek · 134
ci · 132
attention · 129
speculative-decoding · 115
infra · 103
tool-calling · 101
qwen · 96
cpu · 86
compilation · 74
intel-gpu · 57
cudagraph · 56
xpu · 53
fp8 · 33
scheduler · 32
torch.compile · 26
lora · 25
parser · 25
responses-api · 25
gpt-oss · 18
pooling · 17
structured-output · 13
mistral · 11
security · 7
mamba · 6
llama · 5
metrics · 4
dflash · 3
gemma · 3
gemma4 · 3
reasoning · 3
rust · 3
tpu · 3
v2 · 3
bug · 2
configuration · 2
distributed · 2
jais · 2
ray · 2
benchmark · 1
config · 1
dependencies · 1
dependency-wiring · 1
docker · 1
eplb · 1
fips · 1
gdn · 1
hy_v3 · 1
hybrid · 1
mla · 1
mtp · 1
nccl · 1
nixl · 1
numa · 1
observability · 1
pipeline-parallelism · 1
platform · 1
pluggablelayer · 1
prefix-caching · 1
riscv · 1
sampling · 1
setup · 1
vllm · 1

聚合结果

refactor 相关 PR

2026-06-04
缺陷修复 重要性 7.63 洞察度 7.00

分离 speculator prefill CUDA graph 的 attention state

强烈建议精读本 PR，尤其是 `cudagraph_utils.py` 中的设计。它清晰地展示了如何处理 CUDA graph capture 中的 lazy initialization 问题，是一种可复用的模式。其他需要实现自定义 `CudaGraphManager` 的开发者应参考此模式。

bugfixv1nvidia
重构 重要性 7.28 洞察度 5.00

融合residual支持到batch-invariant RMS norm

值得精读，特别是关于批处理不变性归一化的设计模式。合并函数并支持可选residual的做法简洁清晰，可作为类似重构的参考。

refactorv1cleanup

#44122 [Refactor] Remove dead code fp quant

原始 PR · 作者 yewentao256 · 合并时间 2026-06-04 02:22

重构 重要性 6.06 洞察度 2.00

移除 FPQuant 中的死代码

建议合并，属于常规代码清理，无技术风险，有助于保持代码库整洁。

refactorcleanupquantization
重构 重要性 7.03 洞察度 6.00

迁移四组 CUDA 内核到 libtorch stable ABI

值得精读，特别是 stable ABI 适配的模式（如使用 STD_TORCH_CHECK、STABLE_TORCH_LIBRARY_FRAGMENT 和 TORCH_BOX 宏）。对于贡献者，了解这些模式有助于参与后续迁移步骤。设计上保留 ROCm 专用 QuickReduce 在 legacy 是一个透明决策，需关注后续迁移计划。

refactordeepseeknvidia

#37505 [KVCache] Support Pluggable KVCacheSpec

原始 PR · 作者 MengqingCao · 合并时间 2026-06-04 00:05

功能 重要性 9.36 洞察度 7.00

引入可插拔 KVCacheSpec 注册机制，支持外部自定义 Spec 和 Manager

此 PR 定义了一个重要的架构扩展点，设计清晰（注册表 + 平台钩子 + per-spec 方法），值得团队精读并作为未来插件系统的参考。特别关注 `KVCacheSpecRegistry` 的 MRO 查找策略、`uniform_type_base_spec` 的分组语义以及 `check_kv_cache_spec_registry` 的防御性设计。对外部平台开发者来说，这是一个必须了解的变更。

featurev1kv-connector
2026-06-03
重构 重要性 5.31 洞察度 4.00

标准化 CPU KV cache 布局为 blocks-first

建议精读以了解 KV cache 布局标准化的实现方式。对于 CPU 后端开发者，此变更是朝着统一后端接口迈出的重要一步；对于其他后端开发者，可作为参考。

refactorcpuv1