Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-08-20 17:15 同步状态:空闲 下次计划:2026-08-20 18:15
后台正在同步并分析最近 PR,页面会自动刷新并逐步显示最新结果。

PR 列表

更多筛选
2026-05-28

#43599 [Bugfix][Kernel] TRTLLM NVFP4 MoE chunking

原始 PR · 作者 amitz-nv · 合并时间 2026-05-28 08:36

缺陷修复 重要性 7.81 洞察度 6.00

修复 TRTLLM NVFP4 MoE 内核大批量 token 下的 CUDA grid 溢出

建议阅读 `trtllm_nvfp4_moe.py` 中的 chunking 实现,特别是 `_calc_max_supported_tokens` 的公式推导,它展示了如何根据 CUDA grid 限制逆向计算安全 token 数。此外,设计上选择仅在 TRTLLM NVFP4 内核启用 chunking 并在其他实现中移除未使用的 `supports_chunking`,体现了清晰的职责分离。此 PR 的测试方法也值得参考:通过对比极大数据配置下的运行和精度来验证修复。

#43740 Add @AndreasKaratzas to CODEOWNERS

原始 PR · 作者 AndreasKaratzas · 合并时间 2026-05-28 07:14

基础设施 重要性 3.11 洞察度 1.00

将 AndreasKaratzas 加入 CODEOWNERS

可直接合入,无需精读。这是一个标准的管理操作,体现了社区对贡献者的认可。

缺陷修复 重要性 7.43 洞察度 8.00

修复 Qwen3-VL/Omni 在 torch.compile 下的精度退化

该 PR 值得精读,因为它揭示了一个常见的 torch.compile 陷阱:profile 阶段与 serving 阶段的输入结构不一致会导致编译图特化错误。设计上通过固定返回 tensor 而非 None 来保持图结构稳定的模式值得借鉴。合并前建议考虑的 device/dtype 问题可在后续 PR 中加固。

缺陷修复 重要性 6.05 洞察度 5.00

修复DFlash前瞻槽位分配以解决崩溃

此PR虽然改动量小,但涉及投机解码与调度器交互的关键逻辑,值得精读。特别是`effective_lookahead_tokens`的条件演进和DFlash特殊需求的论证,可作为类似bug修复的参考。

缺陷修复 重要性 6.57 洞察度 5.00

修复 block_size、hash_block_size、max_model_len 等配置项可能被设为 0 的问题

值得精读。这是一个教科书式的防御性编程 PR:利用 Pydantic 字段约束(`gt=0`)在配置入口处拒绝非法值,而不是依赖下游运行时检查。`_skip_none_validation` 的 wrap 验证器使用模式是处理可选配置字段的推荐方式,值得在代码库中推广。建议其他配置字段做类似稽核。

缺陷修复 重要性 4.78 洞察度 2.00

修复 Humming MoE 导入路径错误

建议合并。改动经过充分 review,修复了明确的 bug,风险低。虽然测试被移除,但改动的简单性使得测试回报较低。可读性方面,导入路径更清晰,与项目其他部分一致。

重构 重要性 6.98 洞察度 5.00

迁移 attention/mamba/sampler 内核到 torch stable ABI

建议精读 `csrc/libtorch_stable/torch_bindings.cpp` 和 `csrc/libtorch_stable/ops.h`,了解稳定 ABI 的注册和声明模式。对于需要迁移自定义内核的开发者,本 PR 提供了清晰的参考模板。同时关注常量正确性讨论,这在跨 ABI 时尤其重要。

参与讨论