修复 Elastic EP 恢复生命周期并添加手动 4+4 恢复测试
建议仔细阅读此 PR,特别是 `post_capture_elastic_ep_recover` 方法的引入和生命周期顺序的调整。新增的手动测试是理解 Elastic EP 恢复流程的良好起点。对于使用 Elastic EP 的团队,应确保 CI 中包含类似测试。
SGLang is a high-performance serving framework for large language models and multimodal models.
修复 Elastic EP 恢复生命周期并添加手动 4+4 恢复测试
建议仔细阅读此 PR,特别是 `post_capture_elastic_ep_recover` 方法的引入和生命周期顺序的调整。新增的手动测试是理解 Elastic EP 恢复流程的良好起点。对于使用 Elastic EP 的团队,应确保 CI 中包含类似测试。
引入权重缓存守护进程,引擎重启提速至<1秒
里程碑级 PR,值得所有生产运维团队和架构师精读。重点关注的决策包括:(1) CUDA IPC 零拷贝 vs 进程级 checkpoint (CRIU+cuda-checkpoint) 的设计权衡;(2) 量化白名单机制确保数值正确性;(3) `CacheConfig` 指纹匹配策略(环境戳 + revision + 量化哈希);(4) 进程生命周期管理(`PR_SET_PDEATHSIG` + force 清理);(5) 与现有模块(权重更新、CPU 备份、内存保存器)的交互边界。该 PR 为后续快速重启路线图奠定了坚实基础,代码质量高、讨论充分,是值得学习的系统设计案例。
原始 PR · 作者 ShangmingCai · 合并时间 2026-07-25 14:12
Mooncake 版本从 0.3.11.post1 升级至 0.3.12.post1
值得合并, 属于常规依赖升级。建议关注 `4-gpu-gb300` CI 失败原因, 确认非本 PR 引入。
原始 PR · 作者 SovietPower · 合并时间 2026-07-25 12:53
修复 decode 在 prefill 崩溃后因 ZMQ 无超时而永久挂起
本 PR 值得所有从事 PD 部署的开发者精读,展示了分布式系统中经典死锁的分析步骤与最小化修复方案的设计权衡。
原始 PR · 作者 yangspirit · 合并时间 2026-07-25 12:05
为 Host KV Cache 添加共享内存分配器支持
该 PR 值得仔细阅读,尤其是 `get_allocator_type` 的设计模式(将分配器选择与存储后端配置解耦)以及 `ShmHostTensorAllocator` 的 fd 追踪方法。讨论中关于 `memfd_create` 与文件回退、`madvise` 对比 `MAP_POPULATE` 的技术选型也值得参考。对于需要理解 HiCache 存储层扩展机制的工程师是必读材料。
将 W4A4Nvfp4MoE TRT-LLM 路径迁移至 MoeRunner,移除内联调度,净减 62 行。
值得精读,特别是理解如何将硬编码的内核调度收敛到 runner 抽象模式。设计决策关注点:runner 的注册机制(`@register_fused_func`)、`FlashInferTrtllmFp4MoeQuantInfo` 数据类的作用、以及 shape 切片的兼容性处理。
将 grammar 同步判断集中到 ScheduleBatch.grammar_needs_sync
这是一个小型但值得关注的重构,展示了如何逐步将分散的条件逻辑抽象为命名的语义方法,提高可读性和一致性。对于需要理解语法约束与推测解码交互的开发者,建议精读 `supports_grammar_overlap` 和 `grammar_needs_sync` 的文档注释。
原始 PR · 作者 AgainstEntropy · 合并时间 2026-07-25 09:55
Diffusion CI 一致性 GT 迁移至新仓库
该 PR 属于基础设施清理,技术含量低,但作为 CI 链路的一部分值得关注。建议阅读以了解 diffusion CI 的数据管理方式。
参与讨论