标签列表
聚合结果
原始 PR · 作者 zhenwei-intel · 合并时间 2026-09-15 10:23
gpt-oss 回退 0.0.8 并修复 XPU 评估 CI 安装
值得快速浏览，不深入阅读。关注点：CI 步骤硬编码 gpt-oss[eval]==0.0.5，与 requirements 锁定 0.0.8 不一致，建议统一版本来源并重新生成 pip compile 清单；后续可留意 gpt-oss 0.0.9 准确性问题是否在上游被根因修复。
将前端模块中的用户输入验证错误统一迁移到 VLLMValidationError，提升错误响应质量。
这个 PR 值得精读。它展示了如何系统性地将验证错误迁移到统一的异常类型，改善 API 可观测性。设计决策清晰：只迁移用户输入验证点，不迁移内部错误或不可达代码。扩展范围的评审反馈也体现了对 CI 效率的考虑。建议关注 parameter 字段的使用模式，以便在其他模块中复用。
将 Responses API 验证错误从 ValueError 迁移到 VLLMValidationError，修复 param=None 问题。
该 PR 是一个直接、低风险的 bugfix，完成了上一次重构的收尾工作。它修复了用户体验问题，并提升了 API 的一致性。值得精读，以理解错误处理模式的迁移。
恢复 QuarkW8A8Fp8MoEMethod 的 weight_dtype 属性以修复 FP8 MoE 权重加载崩溃。
该 PR 是简单明确的 bugfix，修复了重构引入的回归问题。建议快速审查并合并，以保持 CI 绿灯和模型功能正常。值得精读以确认恢复的属性值 'fp8' 与上下游逻辑一致。
KV offload 门禁逐组认证，解锁 SWA 混合模型跨 TP 复用
值得精读。这是 KV offload canonical 布局功能线的关键收口 PR，有三个亮点： 1. 设计模式可借鉴——“静态保守镜像 + 注册时逐层运行时认证 + fail closed”的双层保险，用静态判定决定 namespace、用运行时认证兜底正确性。 2. 逐组认证（group-wise certification）是对混合拓扑的简洁泛化，比旧门禁“全模型单组”覆盖广得多，且新增的 per-group head 精确匹配避免了假阳性。 3. 建议结合 `vllm/v1/kv_offload` 下的 `_layer_mapping` 与 `_validate_canonical_refs` 对照阅读，理解静态门禁与运行时认证的对应关系；做多副本或 PD 分离部署时可借鉴 body 中三臂对照的 E2E 验证方法（命名空间比对 + completion 字节一致性）。
原始 PR · 作者 ShengleiFu · 合并时间 2026-08-30 00:14
复用 topk 元数据，GPT-OSS MoE 路由提速约 43%
值得精读。这是一个高信噪比的小改动：核心设计决策是识别并复用库返回值中已计算好的元数据（`SparseMatrix.mask_metadata`），而非重复计算；同时通过清晰的边界划分（不碰 router/gate matmul、不碰 EP 路径、legacy 路径不动）把风险控制到最小。值得关注的设计细节：`gate_scal` dtype 继承策略与 `n_expts_act` 的取值来源，以及用递归比较器做完整数据结构 parity 验证的测试方法论。
修复 Harmony 严格工具调用语法，兼容真实渲染输出
值得精读，尤其是 `vllm/parser/harmony.py` 中如何通过枚举约束变体与 `OrFormat` 组合来对齐模型真实渲染，以及测试中如何用 `render_conversation` 生成真实输出 token 来做回归验证。对工具调用解析相关维护者具有参考价值。
GPT-OSS 支持按专家流式加载，供 RL 引擎逐个同步权重
值得精读。重点关注 `GptOssRoutedExperts.weight_loader` 的 `return_success` 契约设计（让调用方知道专家是否真正属于本 rank）、与 LoRA 包装层及 MXFP4 后处理的交互；`meta.py` 的恢复逻辑修复对所有 layerwise reload 模型都有参考价值。若团队在做 RL 权重同步，可与 #43375 的 P2P RDT 权重同步结合阅读。