Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 19:48 同步状态:空闲 下次计划:2026-09-02 20:48

PR 列表

更多筛选
2026-07-06
性能优化 重要性 8.26 洞察度 6.00

DeepSeek-V4 稀疏 attention JIT top-k kernel 运行时优化,最高 1.5 倍加速

该 PR 是 DeepSeek-V4 推理性能的关键优化,代码质量高(测试覆盖 172 个 case)。值得精读: - `topk_impl.cuh` 中运行时 top-k 的直方图 + 阈值二阶段算法。 - `plan_topk_v2` 的 plan-routed 动态分派逻辑。 - `MaxSmem` 元编程技巧,减少静态共享内存选择。 对于使用 DeepSeek-V4 的团队,建议验证目标 GPU 对 PDL 的支持,并关注未解决的 PDL 触发问题。

#29394 [AMD] [Docker] Update MoRI to v1.2.1

原始 PR · 作者 Duyi-Wang · 合并时间 2026-07-06 10:37

基础设施 重要性 2.77 洞察度 4.00

更新 ROCm Docker 镜像的 MoRI 依赖版本

值得关注的是维护团队对依赖管理规范的坚持:Dockerfile 中统一使用提交 SHA 并附加版本注释的做法值得借鉴。

重构 重要性 8.60 洞察度 6.00

移动 temp_set_env 并整合多设备/CUDA 工具函数

这是一次教科书式的安全重构,值得所有工程师阅读以学习如何在不改变行为的前提下重组大型代码库。其关键设计决策包括:使用 AST dump 进行行为验证、在代码中嵌入清晰的区域边界注释和开发指南、分阶段提交。review 中暴露的预先存在的 bug 虽未在此修复,但提醒我们在移动代码时可以同步发现潜在问题。建议后续跟进修复 `get_device_capability` 的 `if`/`elif` 问题。

重构 重要性 5.42 洞察度 3.00

移除 Envs 类中 `# fmt: off` 让 black 格式化

低优先级 PR,内容简单但体现了良好的代码风格治理。值得关注的是长注释处理方式:当 inline-comment 导致折行时,改为 block comment 是更好的做法。

2026-07-05

参与讨论