SGLang is a high-performance serving framework for large language models and multimodal models.
原始 PR · 作者 AMD-yanfeiwang · 合并时间 2026-07-09 16:22
启用ROCm HiCache JIT分阶段写回并修复索引崩溃
该PR值得精读，尤其是JIT kernel平台适配和向量化技巧。对于维护多后端的团队，此PR展示了如何优雅处理PTX平台差异。建议关注后续是否回退#28473，以及是否需要在更多后端（如NPU）上推行类似模式。
防止 VLM 因 /dev/shm 耗尽而静默崩溃
建议精读本 PR，特别是 `posix_fallocate` 的使用模式和 fallback 函数的设计，对于处理共享内存资源稀缺的场景具有参考价值。
在 PDD 模式下实现真正的请求撤回与 KV 重算
该 PR 设计稳健，尤其是通过 bootstrap 注册 `prefill_http_port` 避免修改前端接口的决策值得借鉴。建议阅读 `conn.py` 的线程池和会话管理，以及 `decode.py` 的重新引导流程，以深入理解 PDD 模式下的状态管理。
Prefetch 开启时默认禁用多线程加载
建议部署了 NFS/Lustre 的团队关注此 PR，理解 prefetch 与多线程加载的冲突。设计决策（通过额外配置 opt-in 而非完全禁止）值得学习。
修复 FanOutCommunicator 并发竞态导致 500 错误
建议尽快合入此 PR，因为它修复了一个可能导致生产环境间歇性 500 错误的严重竞态。新增的测试是确定性测试，可作为回归保护。合入前建议运行完整的 CI 套件，特别是与通信相关的测试。
新增单元测试准入规则至 agent 配置
值得精读该规则文档，并建议在团队内推广使用，尤其适合作为新成员编写测试的指引。可与 `write-sglang-test` 技能文档配合使用。
修复 ARM 平台 norm 测试失败
该 PR 为典型快速修复，代码审查简单直接。建议确认 ARM CI 通过后合并。
将 BCG 核心移回原模块并删除顶层包
对于关注模块组织和代码重构的读者值得精读，了解如何安全地回退一次不成熟的包提取。对于普通开发者，只需注意新导入路径即可。
参与讨论