Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 20:51 同步状态:空闲 下次计划:2026-09-02 21:51

PR 列表

更多筛选
2026-08-20

#34546 [XPU] Fix/kimi linear xpu

原始 PR · 作者 SKRohit · 合并时间 2026-08-20 12:43

缺陷修复 重要性 5.88 洞察度 4.00

修复 KimiLinear 模型 XPU 崩溃,回退无 JIT kernel 路径

值得精读的部分是平台 gating 的设计模式:用 `is_xpu()` 把不支持的 kernel 路径整体挡掉并复用既有 fallback(与 CPU/NPU 一致),以及 review 中『修改模型权重契约 vs 在 kernel 调用点适配』的决策——后者是更稳妥的做法。不建议作为架构参考,属于一次性适配;如后续保留该支持,建议补一个 XPU 单元测试或注释文档。

缺陷修复 重要性 6.28 洞察度 5.00

修复 Hopper 上 Cosmos3 T=1 融合回归。

值得精读,因为涉及架构相关性能路径的准入控制,展示了如何在多平台环境下进行特性开关的修复。关注点:平台判断的封装方式、未来是否会对更多架构进行类似控制。

基础设施 重要性 3.14 洞察度 3.00

FLUX 对比 CI 改用 canonical residency 选择器

值得快速浏览,作为 diffusion nightly CI 配置维护的参考。可关注 canonical `--component-residency` 参数在 CI 中的实际验证情况,以确认其与 legacy 参数等价。

重构 重要性 5.38 洞察度 3.00

降低 diffusion 每请求日志噪音,关键消息降级为 debug

此 PR 简单明确,值得快速 review,可作为日志管理的良好实践参考。

功能 重要性 9.36 洞察度 8.00

新增进程内 KV 索引器并集成 Router 前缀路由

值得精读,尤其适合关注“实验性系统如何通过降级语义换取可运维性”的读者。建议重点阅读 `memory_backend.rs` 的 `RwLock` 状态设计、`service.rs` 中作为前缀语义权威定义的默认实现、`client.rs` 对错误类别的精细区分,以及 `admission.rs` 基于调用方 deadline 的脱落。这份 PR 也是后续分布式或持久化 KV Indexer 的基线参考。

基础设施 重要性 5.88 洞察度 6.00

XPU CI 缓存按镜像 ID 键控,修复 dlopen 过期 .so 失败

值得精读,尤其适合 XPU/Intel CI 维护者。重点看 `xpu_ci_start_container.sh` 对 `set -euo pipefail`、root-owned 文件与容器化清理的组合处理,以及缓存键控的 fallback 设计;GDN kernel 的 `valid_state` 守卫可对照 PR #33431 的测试理解,是一个典型的「测试驱动 kernel 边界修复」案例。

功能 重要性 8.91 洞察度 6.00

DeepSeek-V4 新增 Q8KV8 FP8 稀疏 MLA prefill 运行时后端

值得精读。关注四个设计点:一是「先内核后运行时」的两段式 PR 拆分(#25751 → #32327),降低大型特性 review 负担;二是 fail-fast 输入契约校验范式,把 CUDA 层的裸指针契约显式化到 Python 封装层,有效避免静默垃圾输出或进程被 `exit(1)` 杀死;三是 TP 场景下 Q 头按 64 头 CTA 粒度 padding + identity scale 屏蔽填充头的做法;四是 dtype 感知的 workspace 复用策略,兼顾 BF16/FP8 两路径与 CUDA graph 捕获。

文档 重要性 6.62 洞察度 5.00

新增注释风格规则并裁剪 CI 权重校验模块冗余注释

值得快速精读规则文件本身,“删除测试”和 Keep / Delete / Move 三分类对任何希望控制注释噪音的团队都有借鉴价值。ci_weight_validation.py 的 diff 适合作为规则落地的示范案例,但不必深入阅读其实现。若团队对注释风格敏感,建议在后续 PR 中观察规则执行的一致性与争议点。

参与讨论