Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47
后台正在同步并分析最近 PR,页面会自动刷新并逐步显示最新结果。

PR 列表

更多筛选
2026-05-27

#43709 [CI] Soft-fail AMD entrypoints mirror tests

原始 PR · 作者 khluu · 合并时间 2026-05-27 04:08

基础设施 重要性 2.99 洞察度 1.00

AMD entrypoints 测试步骤设为软失败

该 PR 属于基础设施配置微调,不涉及代码逻辑,无需精读。可作为 CI 配置模式参考:当跨平台测试因环境差异不稳定时,通过 `soft_fail` 避免阻塞主流程,同时保留可见性。

#42124 Add LM head quantization support for ModelOpt

原始 PR · 作者 meenchen · 合并时间 2026-05-27 00:21

功能 重要性 8.02 洞察度 5.00

为 ModelOpt 添加 LM head 量化支持

建议技术负责人和量化相关开发者精读 `modelopt.py` 中 `get_quant_method` 的修改,该处展示了如何处理异类层(如 LM head)的量化方法分发。同时关注 `vocab_parallel_embedding.py` 中标量 scale 加载的兼容性做法,这是一个典型的扩展权值加载器以支持新数据布局的案例。

2026-05-26
重构 重要性 8.40 洞察度 3.00

移除 DeepSeek V4 的 AMD MegaMoE 集成

值得阅读以了解清理大规模遗留代码的模式。此 PR 展示了如何系统性地识别和移除不再维护的功能块,同时保持核心逻辑稳定。对于关注 AMD 后端 DeepSeek 模型实现的工程师,应仔细检查是否还有其他遗留引用。

#42789 [MoE Refactor] W4a8 int8 oracle

原始 PR · 作者 bnellnm · 合并时间 2026-05-26 23:15

重构 重要性 9.18 洞察度 6.00

为 CPU W4A8 INT8 MoE 添加 Oracle 选核与专家实现

建议精读。该 PR 体现了 MoE 模块化设计的核心模式——通过 Oracle 抽象将量化后端的选核与实现解耦,代码结构清晰。重点关注 `select_w4a8_int8_moe_backend` 的设计(优先级 fallback、显式/自动选择)以及 `FusedMoEExpertsMonolithic` 接口的 `_supports_*` 方法族,这是未来扩展新后端的范例。

重构 重要性 7.96 洞察度 6.00

将ModelOpt MXFP8 MoE迁移至oracle模块化架构

如果团队使用 ModelOpt MXFP8 量化,建议关注此 PR 引入的后端选择变更,并进行回归测试。此 PR 的设计模式(将特殊量化方法迁移到 oracle 架构、简化 bias 注入)值得参考,适合作为 MoE 量化重构系列的示例。

功能 重要性 8.42 洞察度 6.00

融合Q head padding到DeepSeek V4内核,消除F.pad

建议精读本PR。它展示了: 1. 融合padding到内核以避免额外显存开销的通用优化技巧; 2. 使用C++模板参数实现多head count调度,避免运行时分支; 3. 跨平台(NVIDIA/ROCm)注意力后端的抽象设计模式。 同时,关注review中未解决的风险点,可能需要后续跟进。

参与讨论