修复 PD staging buffer 泄漏与注册竞争等健壮性问题
此 PR 值得精读,尤其 `release_room` 的设计体现了失败路径中资源清理的严谨思考,权衡了同步开销与数据安全。注册顺序调整解决了一个微妙的推拉竞争条件。建议关注第二部分 [2/2] RadixCache 的后续演进。
SGLang is a high-performance serving framework for large language models and multimodal models.
修复 PD staging buffer 泄漏与注册竞争等健壮性问题
此 PR 值得精读,尤其 `release_room` 的设计体现了失败路径中资源清理的严谨思考,权衡了同步开销与数据安全。注册顺序调整解决了一个微妙的推拉竞争条件。建议关注第二部分 [2/2] RadixCache 的后续演进。
原始 PR · 作者 ShangmingCai · 合并时间 2026-07-24 17:20
为 Elastic EP 贡献者添加 CI 权限
可直接合并。变更简单明确,属于常规的维护操作。无需精读源码。
检查 Tensor index 中所有 shard 文件必须存在
建议合并。该 PR 修复了一个典型的“静默腐蚀” bug,代码简洁,测试充分,边界情况覆盖完整,值得精读其防御式编程思路。
原始 PR · 作者 zyzshishui · 合并时间 2026-07-24 17:11
使 EAGLE 验证阶段使用确定性种子硬币,实现推测解码可重现
本 PR 是 kimi-deterministic 系列的核心部分,值得精读。关键设计决策(哈希替代随机、浮点边界 clamp、列空间契约)展示了对采样内核确切行为的细致验证。建议阅读时关注 `_seeded_verify_coins` 的实现和测试文件中的结构化哈希验证方法,这对于构建确定性采样逻辑具有通用借鉴价值。同时注意配套的 MLP-sync 和 FA4 修正是确保整体确定性的必要前提。
原始 PR · 作者 yushengsu-thu · 合并时间 2026-07-24 16:42
修复 XPU platform 测试在无 XPU 设备上失败
建议所有维护者合入此修复,以解除 CI 阻塞。该 PR 本身无需精读,但其所用的 `patch.object` + `create=True` 模式值得在跨平台测试中推广,以避免因可选依赖缺失导致的导入错误。
修复 EPD ZMQ 接收解码失败导致 scheduler 崩溃的问题
值得精读的部分:异常路径包裹的设计模式、跨进程类型兼容处理。建议为 EPD 添加集成测试覆盖解码失败场景,确保变更长期可维护。
原始 PR · 作者 junliu-mde · 合并时间 2026-07-24 16:27
修复 multi-tokenizer PD 下 engine_type 标签为 unified 的问题
值得阅读,因为它展示了如何通过参数化设计替代临时的配置 hack,增强代码可维护性。对于涉及初启动流程依赖 server_args 的场景有参考价值。
修复 LoRA MoE 写后读竞争导致生成乱码
值得精读,展示了如何诊断 CUDA graph 中的写后读竞争、如何用最小复现定位问题,以及一个配置项即可修复的案例。
参与讨论