SGLang is a high-performance serving framework for large language models and multimodal models.
原始 PR · 作者 danielafrimi · 合并时间 2026-04-29 16:28
FlashInfer TRTLLM-Gen 融合 MoE 支持非门控 FP4/FP8，加速 NemotronH-120B
值得精读。该 PR 清晰展示了如何为 FlashInfer TRTLLM-Gen MoE 后端扩展非门控激活支持，包括权重对齐策略、激活类型传递和自动 backend 选择。设计中的分支权衡和测试取舍也值得关注。建议重点关注 `_align_fp8_moe_weights` 函数的对齐逻辑和 `activation_type` 参数传递链。
拆分 accept_length 为 drafts 和 tokens 两个字段
值得精读，尤其是 `EagleDraftInput` 的字段设计、CUDA 图运行器的双缓冲策略、以及 `eagle_info_v2.py` 中 `sample()` 的变异解耦。这些设计决策可以在类似需要消除隐式语义的场景中复用。
原始 PR · 作者 JustinTong0323 · 合并时间 2026-04-29 14:48
修复 MMMU 评估正则截断多行答案
该 PR 值得精读，特别是 `_parse_explicit_multi_choice_answer` 中正则优先级的设计和测试中模块桩的隔离技巧。建议在后续类似评估脚本中参考此模式。
原始 PR · 作者 alphabetc1 · 合并时间 2026-04-29 14:47
在 HiCache 中同步 draft KV 缓存修复 accept length 退化
本 PR 修复了一个关键的 Spec+HiCache 协同 bug，设计合理（piggyback 式同步），且提供了完整的 benchmark 数据验证。此外，`_get_draft_kv_pool` 的抽取体现了良好的重构意识。建议阅读 `_maybe_register_hicache_draft` 和 `start_writing` 中的同步逻辑，理解如何在现有框架下优雅地加入辅助缓存池。
引入官方 GT 优先级并修复对齐
建议关注 GT 回退策略设计（优先级 + 存在性检查），可作为跨版本测试基础设施的参考。对于 Qwen-Image 相关开发者，需了解后处理扩展模式，便于其他模型复用。
修复 mooncake store 布局名拼写错误
此 PR 为简单拼写修正，无需深入审查，可直接合并。
原始 PR · 作者 ZeyuanChen2000 · 合并时间 2026-04-29 12:01
NPU 上 Baichuan2-13B-Chat 因 rope_theta 缺失崩溃
低风险快速修复，值得核验。建议作者考虑追加单元测试，覆盖 rope_theta 缺失的场景，防止将来回归。
为 Nemotron Omni V3 模型添加别名支持
值得快速合并。这是一个标准的模型别名注册 PR，结构清晰，风险低。建议未来为 Nemotron Omni V3 添加独立的测试用例以验证加载和推理。
参与讨论