Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47
后台正在同步并分析最近 PR,页面会自动刷新并逐步显示最新结果。

PR 列表

更多筛选
2026-05-05

#40136 [Model] support Qianfan-OCR model

原始 PR · 作者 marvinzh · 合并时间 2026-05-05 18:51

功能 重要性 9.00 洞察度 5.00

新增 QianfanOCR 多模态模型支持

此 PR 适合作为多模态新模型集成的参考范例,特别是如何基于现有架构(InternVL)快速实现。Review 中关于 trust_remote_code 的设计权衡也值得学习。建议开发者关注其配置管理和测试组织方式。

功能 重要性 8.69 洞察度 6.00

新增 Triton JIT 编译监控,推理阶段检测延迟尖峰

建议阅读。该 PR 展示了如何利用 Triton 内部钩子实现运行时监控,并在设计决策中充分考虑了 API 兼容性、幂等性、用户偏好尊重等细节。对于需要维护 Triton 版本兼容性的项目有很好的参考价值。团队可以基于此监控进一步优化 warmup 覆盖,系统化减少推理时意外编译。

#39285 [XPU] use xpu topk topp sample kernel

原始 PR · 作者 jikunshang · 合并时间 2026-05-05 18:05

功能 重要性 6.74 洞察度 5.00

XPU 采样内核集成,提升性能并减少重新编译

值得精读,尤其是 `forward_xpu` 的设计和 `mutates_args` 讨论。建议关注 `mutates_args` 缺失的潜在影响,未来可补充修复。

功能 重要性 8.72 洞察度 6.00

Mooncake KV 传输添加 stats 监控

推荐精读,特别是 MooncakeKVConnectorStats 的并发安全设计(锁 + pickle 处理)和 reduce/aggregate 模式,这些设计可以复用于其他 KV connector。注意 P/D 不对称统计的设计决策和 Prometheus 指标延期的 TODO,后续需跟踪补全。

#41699 [Model] Use AutoWeightsLoader for Plamo2

原始 PR · 作者 bittoby · 合并时间 2026-05-05 16:56

重构 重要性 7.74 洞察度 6.00

Plamo2 权重加载迁移至 AutoWeightsLoader

该 PR 是 vLLM 权重加载标准化大图景中的一环,代码量中等但逻辑清晰。推荐开发者阅读,以理解 AutoWeightsLoader 的使用模式、从 `*ForCausalLM` 到 `*Model` 的迁移步骤,以及 `tie_word_embeddings`、旋转位置编码等特殊场景的处理方式。对于希望贡献类似迁移的贡献者,这是一个很好的参考范例。

#41690 [Model] Use AutoWeightsLoader for CohereMoe

原始 PR · 作者 bittoby · 合并时间 2026-05-05 12:44

重构 重要性 8.70 洞察度 5.00

重构 CohereMoe 权重加载迁移至 AutoWeightsLoader

建议合并。该 PR 是基础设施标准化的重要一步,代码清晰,已通过本地 lint 和单元测试验证。值得关注的设计决策是将 quant_config 下沉到 backbone 中,以便 AutoWeightsLoader 统一处理 KV-scale。

缺陷修复 重要性 6.08 洞察度 5.00

修复 Gemma4 MoE 激活函数为 tanh 近似 GELU

该 PR 设计清晰、改动集中,已获得批准。建议团队在合入后验证 Gemma4 模型生成质量无明显波动,并确认 LoRA 相关测试通过。

参与讨论