移除 MoE 模块中的 supports_expert_map 方法
推荐阅读。该 PR 展示了以最小化接口约束进行重构的思路,并通过移除抽象方法暴露了一个隐藏 bug。对于理解 MoE 模块架构和如何优雅地清理技术债务有参考价值。
A high-throughput and memory-efficient inference and serving engine for LLMs
移除 MoE 模块中的 supports_expert_map 方法
推荐阅读。该 PR 展示了以最小化接口约束进行重构的思路,并通过移除抽象方法暴露了一个隐藏 bug。对于理解 MoE 模块架构和如何优雅地清理技术债务有参考价值。
迁移 WNA16 MoE 量化至 MK oracle 架构
该 PR 是 MoE 重构的重要里程碑,建议团队内精读,理解 oracle 模式的设计和权重处理流程。重点关注:后端选择条件的正确性验证、权重转换的完备性、以及作为后续 PR 基础的代码结构。
移除 Harmony 模型 stop_token_ids 覆盖逻辑
值得合入。这是一个高质量的死代码清理 PR,设计上依赖上游模型配置而非运行时注入。建议相关团队关注 Responses API 中 `ignore_eos=True` 的行为变化,并在必要时更新文档或用户指南。
原始 PR · 作者 tlrmchlsmth · 合并时间 2026-05-30 03:56
修复 iteration_tokens_total 包含 KV 传输 token 的问题
值得合入,改动精简且正确。建议在 release notes 中明确说明此变更,提醒已经在监控中使用该直方图的用户注意数值变化。
原始 PR · 作者 yewentao256 · 合并时间 2026-05-30 03:28
为 DP supervisor 添加 SSL 支持
值得精读。该 PR 展示了在分布式推理框架中为管理服务添加 SSL 支持的正确姿势:区分外部用户流量和内部节点流量,合理跳过不必要的验证,同时保持代码简洁。对于需要 HTTPS 的生产部署场景是必要变更。
将 @khluu 添加至 CODEOWNERS
该 PR 为内部流程变更,对普通开发者无直接影响。若关注 CI 或构建配置的审核流程,可简要了解所有者变更情况。
删除冗余测试并清理 CI ignore 配置
建议合并,属于常规清理。可关注是否还有其他类似已跳过的测试需要一并清理,以保持代码库整洁。
CI 模型执行器测试超时失败快速反馈
应立即合入,作为 CI 防御性措施。建议后续将类似超时机制推广到其他 GPU/CUDA 密集的 CI 步骤。此 PR 逻辑清晰,改动安全。
参与讨论