Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-05-21
缺陷修复 重要性 6.84 洞察度 5.00

自动将 reasoning_content 标准化为 reasoning

建议精读此 PR,重点了解: - 如何通过 Pydantic model_validator(mode="before") 在早期标准化输入数据。 - 根据 review 合并验证器的决策过程和性能 benchmark 方法。 - 如何处理已废弃字段的兼容性,包括始终移除旧字段的策略。 此 PR 设计模式适用于类似字段迁移场景。

缺陷修复 重要性 5.69 洞察度 6.00

修复 Step3-VL 编码器 CUDA Graph 测试 OOM

值得合并,该 PR 精准修复了 CI OOM 问题,且保留了关键测试覆盖。重构的 `compilation_config_overrides` 模式可作为其他编码器 CUDA graph 测试的参考。CI 配置改用标签机制是良好实践。

性能优化 重要性 8.15 洞察度 6.00

批量化Gemma4视觉编码,吞吐提升最高3.8x

值得精读。PR 展示了如何通过分解模型调用并引入动态批量调度来显著加速多模态编码阶段。设计中的权衡(pooler 不批量化)和兼容性修复(使用 current_platform)值得关注。可作为其他多模态模型性能优化的参考模式。

缺陷修复 重要性 7.64 洞察度 6.00

修复 Qwen3.5 GDN 在 TP>=2 时 Marlin 量化失败

值得所有 Qwen3.5 用户和关注量化兼容性的工程师阅读。本 PR 展示了如何在不改动权重加载和模块映射的前提下,通过 `disable_tp` 优雅地规避量化内核的分片限制,并利用 `split_ba` 保持下游 kernel 的兼容性。review 中的设计权衡讨论也很有启发性。

#43103 [Minor] Bigger overlap for FI AR

原始 PR · 作者 jeejeelee · 合并时间 2026-05-21 12:20

性能优化 重要性 5.69 洞察度 6.00

为 FlashInfer all-reduce 启用 PDL 启动重叠,设置小 batch 阈值

值得精读,尤其关注两点:1)PDL 启动重叠的优化思路及其在 FlashInfer 融合 kernel 中的运用;2)review 中对于魔法数字提取为常量的设计决策过程。对于使用 FlashInfer 的团队,应确认是否启用相关 fusion pattern,避免 3D tensor 风险。

#43262 update GPU json file based on h200 recipes

原始 PR · 作者 louie-tsai · 合并时间 2026-05-21 11:57

测试 重要性 5.54 洞察度 2.00

更新 H200 GPU 性能基准测试配置文件

建议在合并后验证 CI 基准测试流水线是否正常运行,尤其关注 JSON 解析和 70B 测试的内存占用。若 review 中指出的问题尚未修复,应尽快跟进修正。

缺陷修复 重要性 6.58 洞察度 5.00

修复 V2 model runner 在 dummy run 时 LoRA 未初始化引起的 Triton 断言错误

此 PR 值得精读,尤其是理解 V2 model runner 中 dummy run 路径与 LoRA 的交互。关注点:1)临时方案的设计权衡;2)未来向 LoRA warmup 迁移的 plan。开发者应跟踪 PR#35536 的进展。

参与讨论