Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-04-27

#36464 [Examples] Resettle generate examples.

原始 PR · 作者 noooop · 合并时间 2026-04-27 15:48

重构 重要性 5.36 洞察度 4.00

重组 examples 目录为场景化分类

建议开发者和文档编写者关注新的示例目录结构,后续添加示例时应参考此分类。对于已部署的文档站点,需检查所有示例链接并更新。此 PR 体现了以用户使用场景为中心的设计思路,值得在项目其他部分推广。

缺陷修复 重要性 3.12 洞察度 4.00

Docker 安装 libcublas-dev 修复 FlashInfer JIT 编译

建议精读:该 PR 是一个典型的基础设施修复,展示了 Dockerfile 中依赖包选择对运行时 JIT 编译的影响。值得关注 review 中关于注释位置的问题,确保构建稳定性。

#40950 [DSV4] Add silu clamp limit to shared expert

原始 PR · 作者 zyongye · 合并时间 2026-04-27 15:37

功能 重要性 8.87 洞察度 6.00

为 DeepSeek V4 共享专家添加激活 clamp 限制

建议精读该 PR,特别是 CUDA kernel 的模板化 clamp 扩展方式,以及 Python 层 `CustomOp` 的注册模式。该设计模式可供其他需要数值 clamp 的激活函数参考。

缺陷修复 重要性 6.29 洞察度 3.00

移除 Qwen3-VL 无效的 deepstack 边界检查

值得快速合并的 bugfix,变更简洁明确。但建议确认调用方是否总能保证 num_tokens 合法,或考虑添加防御性断言以避免静默 bug。

性能优化 重要性 7.56 洞察度 5.00

共享 TQ 去量化缓冲区并消除 float16_copy

值得精读,展示了注意力后端中从逐层缓冲区到全局 WorkSpace 管理的演进,以及 Triton 核函数级别的优化技巧。对于关注推理引擎性能优化的工程师有参考价值。

#38065 [Perf] FP8 FlashInfer Attn for ViT

原始 PR · 作者 zhandaz · 合并时间 2026-04-27 13:44

性能优化 重要性 9.18 洞察度 7.00

ViT 编码器注意力 FP8 量化加速

建议精读。特别是 FP8 缩放策略的设计(动态 vs 静态)、自动保存机制以及 Triton kernel 的 stride-aware 实现。对于需要优化多模态流水线的工程师具有直接参考价值。

#35450 Cutlass W4A16 (Machete) Tests

原始 PR · 作者 ojhaanshika · 合并时间 2026-04-27 13:15

测试 重要性 6.04 洞察度 5.00

新增 Cutlass W4A16 内核端到端集成测试

建议所有涉及量化内核的开发者阅读此 PR,尤其是测试结构:使用参数化分离单元测试与端到端测试,通过 fixture 统一设置环境变量。CI 集成方式也值得推广。

缺陷修复 重要性 7.90 洞察度 6.00

修复 SWA 运行时准入与启动池大小计算不一致导致调度死锁

建议仔细阅读此 PR,尤其是单真源设计(singlesource of truth)在 admission 与 pool sizing 间的应用。值得关注的设计决策:将 cap 逻辑置于 manager 内部而非 coordinator 层,避免了 #39866/#40027 中的准入与分配分裂问题。代码实现简洁,注释清晰,适合作为 KV cache 准入逻辑的学习参考。

参与讨论