共享 base-URL 解析并修复 IPv6 格式化
推荐阅读,尤其是 `resolve_base_url` 的设计和 `_BACKEND_API_PATHS` 的引入方式。该 PR 展示了如何通过提取通用函数消除重复代码并修复一致性问题,是良好的工程实践。
SGLang is a high-performance serving framework for large language models and multimodal models.
共享 base-URL 解析并修复 IPv6 格式化
推荐阅读,尤其是 `resolve_base_url` 的设计和 `_BACKEND_API_PATHS` 的引入方式。该 PR 展示了如何通过提取通用函数消除重复代码并修复一致性问题,是良好的工程实践。
使用滑动窗口布局去重 Mamba spec 卷积中间缓存,内存减半
值得精读:展示了巧妙的滑动窗口去重思路、Triton kernel 的正确性验证流程(布局测试 + bit-exact + E2E md5)。设计决策(条件启用、参数透传)和实践(`as_strided` 视图的谨慎使用)有参考价值。建议关注 `max_mamba_cache_size` 的 follow-up 优化。
为线性注意力模型添加 int8 压缩 checkpoint 池,使缓存前缀容量翻倍。
值得精读,特别是量化策略选择(int8 vs fp8)和策略无关的 donate 钩子设计。建议关注后续 PR #28813 中对测试文件和 CI 标签的清理。
引入 get_parallel() 统一访问并行拓扑状态
值得精读。设计上惰性导入和 override 栈式恢复非常干净,可做为仓库基础架构层类似抽象的参考。关注其 _v() 方法如何统一覆盖与实时查找,以及 override 测试隔离的实现技巧。
调整 CODEOWNERS 中 mooncake_store 目录排序
该 PR 价值低,不值得精读。但作为 CODEOWNERS 维护的范例,可供参考如何正确组织目录与文件规则顺序。
为 SGLang 指标新增 Ray 后端包装器,支持集成到 Ray 监控系统。
值得精读,尤其是包装器设计(复制+标签绑定、边界过滤、名称净化)和测试策略(fake 模块注入实现 CPU 环境测试)。对于计划将 SGLang 嵌入 Ray Serve 的用户,本 PR 提供了零配置接入路径。
提取 bench 启动/连接决策到可重用 acquire_endpoint
建议阅读新模块的设计思路:将“启动 vs 连接”决策封装为单一的 `acquire_endpoint` 函数,并附带了清晰的关闭生命周期。值得在其他基准测试脚本中复用。该 PR 代码质量高,注释充分,适合作为代码复用和集中决策的范例。
原始 PR · 作者 luoroger37 · 合并时间 2026-06-18 10:25
修复 ScheduleBatch 请求池 CPU 元数据不同步问题
值得精读,尤其是对 SGLang 调度器内部请求池管理感兴趣的人。设计权衡:应在源头初始化 CPU 镜像,还是在所有消费点添加防御?PR 采用混合方案,但评审者认为仅源修复即可,此分歧值得关注。
参与讨论