Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-01 17:58 同步状态:空闲 下次计划:2026-09-01 18:58

PR 列表

更多筛选
2026-07-30
功能 重要性 9.36 洞察度 7.00

新增 Rust TokenizerManager、Ring 和 Runtime 模块

该 PR 是 SGLang Rust Server 基础架构的关键拼图,设计上在内存布局(列式数据)、并发模型(flume + select)和 GIL 管理方面有很多值得学习的权衡。建议团队内所有参与核心调度和通信的开发人员仔细阅读 `ring.rs` 和 `tokenizer_manager.rs` 的设计文档和代码注释。合并后应尽快补充集成测试,并考虑在 CI 中启用 Rust server 的端到端测试。

#32115 [MLX] Size request capacity by attention DP

原始 PR · 作者 wirybeaver · 合并时间 2026-07-30 09:18

缺陷修复 重要性 7.72 洞察度 4.00

MLX 请求容量按 attention DP 大小分配,修复纯 DP 副本容量不足

建议:MLX 后端开发者和 CI 维护者审查此 PR,确保后续 #32101、#32102 可以无缝集成。测试覆盖较全,可放心合并。注意 @noob-se7en 正在重构 model_runner_stub,未来可能再次调整此逻辑。

重构 重要性 8.48 洞察度 6.00

添加内核注册库存防护并清理基准测试布局

推荐内核贡献者和基础设施维护者精读。`KernelRegistry.register()` 的语义变化与冲突检测设计值得学习,尤其是如何在不引入运行时依赖的前提下用 AST 进行结构性验证。此外,文件组织重构为基准测试提供了清晰布局。

#32342 sglang rust server egress message

原始 PR · 作者 rainj-me · 合并时间 2026-07-30 08:16

功能 重要性 9.18 洞察度 7.00

新增 Rust egress 消息层与完成原因模块

该 PR 设计精巧,尤其关注了向前兼容(FinishReason::Unknown)和安全性(正则 admission 缓存、边界检查)。值得所有参与 Rust 服务器开发的成员精读,理解 egress 协议和数据类型约定。对于非 Rust 开发者,可以跳过实现细节,但应当通过 final_report 了解整体架构演进。

#32668 Enable GPT-OSS FlashInfer MXFP4 on SM120

原始 PR · 作者 mmangkad · 合并时间 2026-07-30 08:04

功能 重要性 7.94 洞察度 6.00

在SM120上启用GPT-OSS FlashInfer MXFP4 MoE

值得精读。本PR展示了如何为特定GPU架构添加新的MoE内核后端,包括初始化检测、对齐约束处理、权重后处理以及自动切换。对于涉及多架构内核支持的开发者有很好的参考价值。

参与讨论