#20520 [NPU]TP Communications compression For Qwen3 models for NPU
原始 PR · 作者 egvenediktov · 合并时间 2026-05-02 19:29
NPU Qwen3 TP通信INT8量化,Prefill阶段提升5%
值得阅读以了解通信量化和推理阶段集成的设计模式。建议关注后续大规模模型上精度验证,以及是否有计划推广到其他设备(如GPU INT8通信)。
SGLang is a high-performance serving framework for large language models and multimodal models.
原始 PR · 作者 egvenediktov · 合并时间 2026-05-02 19:29
NPU Qwen3 TP通信INT8量化,Prefill阶段提升5%
值得阅读以了解通信量化和推理阶段集成的设计模式。建议关注后续大规模模型上精度验证,以及是否有计划推广到其他设备(如GPU INT8通信)。
原始 PR · 作者 e-martirosian · 合并时间 2026-05-02 19:18
为NPU测试添加GitHub总结功能并去重测试代码
此 PR 值得关注其 mixin 重构模式和 GitHub Summary 集成方案,可作为测试标准化的参考。但需注意 mixin 的隐式行为可能增加调试难度,建议为 mixin 补充详细的使用文档和单元测试。建议在 Part 2 中考虑参数化更多配置。
将 routed_experts 编码移出 tokenizer 热路径
该 PR 设计清晰,变更合理,建议合并且值得精读。重点关注 `_b64_encode_per_request` 的静态方法设计以及双路径的 fallback 机制,这种模式在类似场景中可以复用。
将 ModelOpt 检查点引用从 BBuf 迁移至 lmsys
此 PR 属于基础设施清理,建议快速合并以完成仓库迁移,提高项目的长期可维护性。读者可以关注其组织级仓库管理策略,对于类似依赖清理有参考价值。
原始 PR · 作者 alisonshao · 合并时间 2026-05-02 15:58
修复CI权重校验器对0索引分片的误报
该 PR 修复明确且改动量极小,值得快速合并。但 reviewer 建议的更稳健启发式(检查是否存在分片 0 而非取最小值)可以进一步降低边缘 case 风险,建议作为后续改进项跟踪。
原始 PR · 作者 Kangyan-Zhou · 合并时间 2026-05-02 14:55
恢复 SMG e2e 测试到 H100 GPU 集群并修复 gRPC 兼容性
此 PR 值得精读,尤其是 `setup_backend.py` 中关于 pytest-parallel 兼容性问题的分析和 `grpc_server.py` 中向后兼容的优雅处理方式。展示了如何处理上游库的不兼容性并保持功能降级路径,对 CI 和测试基础设施维护者很有参考价值。
原始 PR · 作者 billishyahao · 合并时间 2026-05-02 14:34
启用SDMA并调整chunked prefill大小以节省显存
该PR为常规测试维护,无需精读。但可作为AMD MoE测试配置的参考。
支持 JoyAI-Image-Edit 图像编辑模型
推荐关注此 PR 的设计模式:它展示了如何通过配置驱动的方式将新扩散模型集成到 SGLang 框架中,特别是通过管道配置的 `postprocess_text_funcs` 实现后处理泛化。对模型集成者有参考价值。建议精读 `qwen3vl.py` 的编码器实现和 `joy_image.py`(runtime)的 DiT 双流块实现。
参与讨论