Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态：已开启 最近同步：2026-09-02 20:51 同步状态：空闲 下次计划：2026-09-02 21:51

PR 列表

最近 1 天 最近 3 天 最近 7 天
更多筛选
标签聚合 仓库周报
2026-05-13
缺陷修复 重要性 5.92 洞察度 6.00

修复被驱逐备份节点的部分匹配失败 bug

建议精读。该 PR 修复了一个涉及节点分裂与驱逐状态组合的边界逻辑，修改虽小但设计精准，测试覆盖了多种混合组件场景，体现了良好的工程实践。

bugfixhicachekv-cache
缺陷修复 重要性 6.10 洞察度 5.00

修复 _cascade_evict 叶子判定逻辑

建议精读。该 PR 修正了 UnifiedTree 中一个关键的叶子节点判定逻辑，展示了在分层缓存系统中如何正确处理组件锁定状态与结构叶子之间的关系。`_cascade_evict` 的实现值得学习，尤其是组件优先级与叶子判定的结合。同时，新增的测试用例是隔离测试复杂驱逐场景的典范。

bugfixhicachekv-cache
缺陷修复 重要性 6.41 洞察度 6.00

修复对称内存因通信组不一致未启用

建议阅读此 PR，尤其是讨论线程中关于强制参数 vs 可选默认值的设计决策，反映了对关键通信组一致性的严格态度。同时，提醒关注 nvcastet 指出的内存池复用问题，并检查是否已在后续 PR 中修复。对于需要多组通信的场景，建议在合并此 PR 后验证 symm 是否真正生效。

bugfixinfraperformance

#23893 [NPU]pp support mla kv transfer

原始 PR · 作者 chenxu214 · 合并时间 2026-05-13 09:10

功能 重要性 7.18 洞察度 5.00

NPU Ascend后端支持PP下MLA KV传输

建议同后端开发人员和关注disaggregation模块的工程师精读，特别是`get_mla_kv_ptrs_with_pp`中的层切片算法和`setup_state_kv_args`中NPUMLA的处理方式，该设计从硬编码演进为结构化参数，具有参考价值。

npufeaturekv-cache
性能优化 重要性 8.47 洞察度 6.00

优化分解式解码 SWA KV 缓存预分配策略

建议合并。值得关注的设计决策：将 SWA 预分配与 full 预分配解耦、CPU copy 的稀疏 mask 处理。后续可考虑将同一优化扩展到 prefill 节点。

performancekv-cachescheduling
性能优化 重要性 6.39 洞察度 6.00

释放NVFP4权重量化中不再使用的源缩放张量

该PR设计清晰，内存收益显著，风险可控，建议合并。值得关注其删除张量的策略和保留`w13_weight_scale_2`/`w2_weight_scale_2`的权衡。

quantperformancekv-cache

#20475 feat: add Crusoe managed inference backend

原始 PR · 作者 acheamponge · 合并时间 2026-05-13 07:23

功能 重要性 7.50 洞察度 3.00

新增 Crusoe 托管推理后端

该 PR 设计清晰，适合作为第三方后端集成的参考模式（继承 + LazyImport）。建议合并后补充 CI 可运行的 mock 测试以覆盖回归。

featureinfratest
功能 重要性 6.52 洞察度 4.00

bench_serving 新增 agentic 多消息轮次支持

建议合并。变更小巧清晰，扩展了基准测试能力，且向下兼容。后续可补充针对新格式的单元测试。

testfeatureinfra

参与讨论