Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 19:48 同步状态:空闲 下次计划:2026-09-02 20:48

PR 列表

更多筛选
2026-07-25
缺陷修复 重要性 8.43 洞察度 6.00

修复 Elastic EP 恢复生命周期并添加手动 4+4 恢复测试

建议仔细阅读此 PR,特别是 `post_capture_elastic_ep_recover` 方法的引入和生命周期顺序的调整。新增的手动测试是理解 Elastic EP 恢复流程的良好起点。对于使用 Elastic EP 的团队,应确保 CI 中包含类似测试。

功能 重要性 9.48 洞察度 8.00

引入权重缓存守护进程,引擎重启提速至<1秒

里程碑级 PR,值得所有生产运维团队和架构师精读。重点关注的决策包括:(1) CUDA IPC 零拷贝 vs 进程级 checkpoint (CRIU+cuda-checkpoint) 的设计权衡;(2) 量化白名单机制确保数值正确性;(3) `CacheConfig` 指纹匹配策略(环境戳 + revision + 量化哈希);(4) 进程生命周期管理(`PR_SET_PDEATHSIG` + force 清理);(5) 与现有模块(权重更新、CPU 备份、内存保存器)的交互边界。该 PR 为后续快速重启路线图奠定了坚实基础,代码质量高、讨论充分,是值得学习的系统设计案例。

基础设施 重要性 2.89 洞察度 2.00

Mooncake 版本从 0.3.11.post1 升级至 0.3.12.post1

值得合并, 属于常规依赖升级。建议关注 `4-gpu-gb300` CI 失败原因, 确认非本 PR 引入。

功能 重要性 8.94 洞察度 6.00

为 Host KV Cache 添加共享内存分配器支持

该 PR 值得仔细阅读,尤其是 `get_allocator_type` 的设计模式(将分配器选择与存储后端配置解耦)以及 `ShmHostTensorAllocator` 的 fd 追踪方法。讨论中关于 `memfd_create` 与文件回退、`madvise` 对比 `MAP_POPULATE` 的技术选型也值得参考。对于需要理解 HiCache 存储层扩展机制的工程师是必读材料。

重构 重要性 7.23 洞察度 6.00

将 W4A4Nvfp4MoE TRT-LLM 路径迁移至 MoeRunner,移除内联调度,净减 62 行。

值得精读,特别是理解如何将硬编码的内核调度收敛到 runner 抽象模式。设计决策关注点:runner 的注册机制(`@register_fused_func`)、`FlashInferTrtllmFp4MoeQuantInfo` 数据类的作用、以及 shape 切片的兼容性处理。

重构 重要性 5.24 洞察度 5.00

将 grammar 同步判断集中到 ScheduleBatch.grammar_needs_sync

这是一个小型但值得关注的重构,展示了如何逐步将分散的条件逻辑抽象为命名的语义方法,提高可读性和一致性。对于需要理解语法约束与推测解码交互的开发者,建议精读 `supports_grammar_overlap` 和 `grammar_needs_sync` 的文档注释。

参与讨论