Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-01 19:08 同步状态:空闲 下次计划:2026-09-01 20:08

PR 列表

更多筛选
2026-08-25
缺陷修复 重要性 6.84 洞察度 4.00

修复 NPU 上 LoRA 嵌入越界 token 崩溃

值得阅读,尤其是对 LoRA 后端实现和 NPU 算子适配感兴趣的工程师;全向量化 3D 高级索引替代逐段循环的思路可复用到其它后端。建议补充单元测试(包含越界 token、空权重、rank 掩码边界),并清理未使用的 num_loras 变量。

性能优化 重要性 6.70 洞察度 6.00

跨本地 rank 去重 DeepGEMM JIT 预编译,减少重复 NVCC 编译。

值得精读,该 PR 展示了通过简单文件锁解决多进程并发编译去重的思路,设计简洁,对理解多 rank 启动优化有参考价值。建议关注锁粒度和异常处理,未来可考虑使用更细粒度的锁或异步编译。

性能优化 重要性 4.72 洞察度 3.00

AITER diffusion 后端移除未使用的 softmax LSE 计算

该 PR 更偏向微优化清理,价值有限,但对理解 AITER diffusion 后端的调用约定和代码风格有参考价值。可快速浏览,重点留意 `aiter.flash_attn_func` 返回类型差异的约定。

#36139 [AMD] Skip shared-KV verify test on ROCm 7.0 CI

原始 PR · 作者 chuyeh · 合并时间 2026-08-25 13:20

测试 重要性 4.12 洞察度 4.00

ROCm 7.0 下跳过 FP8 shared-KV 测试

该 PR 值得精读,展示了如何精准地处理环境相关的测试跳过,避免过度跳过导致覆盖损失。建议关注其使用 `get_hip_version()` 和 `skipIf` 的模式,以及如何记录清晰的移除条件。

缺陷修复 重要性 5.11 洞察度 5.00

修复 Qwen3.8-MXFP4 DCP 启动失败,注册文本架构到 mamba 白名单

该 PR 值得快速浏览,它揭示了一个架构白名单与 DCP 配置交互的 bug。建议精读 `_MAMBA_EXTRA_BUFFER_ARCHS` 列表,了解各架构的内存模型约束。未来应考虑为纯文本架构增加单元测试,确保白名单同步。

功能 重要性 9.18 洞察度 6.00

新增 LongCat-Image-Edit 及 Turbo 图像编辑管线

值得精读,尤其是 `honor_cache_free_padding_mask` 的作用域设计、`expand_conditioning_to_sample_batch` 的多输出处理,以及 `_build_expanded_prefix_ids` 的占位符展开逻辑。建议关注共享编码器开关的后续加固和 GPU 端到端测试的补充。

功能 重要性 6.73 洞察度 6.00

混合 NVFP4 检查点支持 FP8 伴随层自动调度

值得精读。该 PR 展示了如何在不破坏既有 NVFP4 路径的前提下,通过配置层扩展(数据契约 + 分发逻辑)优雅支持混合量化伴随层。关注 `set_comfy_layer_markers` 的格式白名单设计与 `get_quant_method` 的委托模式,是典型的多格式量化分派实现,可复用。同时注意其依赖链(#36060、#36061)对 FP8 输入 scale 推断的假设。

参与讨论