Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-03 21:09 同步状态:空闲 下次计划:2026-09-03 22:09

PR 列表

更多筛选
2026-05-19
缺陷修复 重要性 5.69 洞察度 6.00

修复 Blackwell 上 DeepSeek-V4-Pro NaN 问题

值得精读:这是一个经典的低级别数值精度 Bug,展示了尾数位泄露如何导致 NaN,以及如何通过一个简单的 scale 校正函数来解决。对于运行 DeepSeek-V4-Pro 在 Blackwell 上的团队,此修复是必须集成的。

#23506 [gRPC] Native server: Rust crate (1/4)

原始 PR · 作者 alexnails · 合并时间 2026-05-19 13:31

功能 重要性 9.36 洞察度 6.00

引入 Rust gRPC 服务器 crate,原生服务器第一阶段

值得精读,特别是对 Rust ↔ Python 桥接模式感兴趣的人员。设计决策如 `RequestAbortGuard` Drop 语义、`pyerr_to_status` 分类、`resolve_max_message_size` 环境变量覆盖,都是良好的工程实践。未解决的 meta_info 序列化和认证问题应在后续 PR 中优先修复。

为 Wan2.2 Diffusion 添加 Ascend NPU MXFP4 量化支持

建议精读该 PR,它展示了如何在 diffusion 子系统中集成新的量化方法,代码模块化良好(在线 vs 离线分离),且 review 中涉及的性能优化和设计决策值得借鉴。需特别关注在线量化路径的实验性标注以及加载器逻辑对 modelslim 显式标志的改动。

缺陷修复 重要性 8.45 洞察度 6.00

将 Mamba 状态操作迁移到 forward stream 消除调度竞争

该 PR 值得所有关注并发调度和 Mamba 模型的开发者精读,其“捐赠模式”和“延迟操作到 forward stream”是处理调度器与前向流之间竞争的有效模式。建议合并后关注 HiCache 兼容性修复和 review 中提到的 GPU→CPU 同步优化。

性能优化 重要性 7.12 洞察度 5.00

MIMO-v2 EPD: GPU 图像预处理与并行视频解码

值得精读,尤其是线程数调优的 benchmark 数据和权衡过程。设计上配置灵活、默认上限保守,对类似优化有参考意义。建议补充分支测试并考虑将 import torch 移到模块顶层。

功能 重要性 4.88 洞察度 2.00

B300 默认视觉注意力回退为 triton_attn

此 PR 改动简单直接,适合快速合入以确保 B300 上的多模态功能可用。建议关注后续 FA4 在 B300 上的验证进度,验证通过后恢复 fa4 默认值。

参与讨论