sgl-project/sglang

为GLM5引入BCG支持并优化prefill性能

强烈建议精读。本 PR 展示了如何在推理框架中平衡 eager 与 CUDA 图执行，是 CUDA 图后端演进的关键步骤。特别关注 `MlaBmmFusionPlan` 和 `mla_bmm_then_unified_attention` 的设计，以及在 split op 中灵活切换 eager 与图的策略。讨论中的设计取舍值得团队参考。

修复 GLM-4.6 在 B200 上的 CI 失败

建议快速合入。这是一个针对硬件特定配置的精准修复，改动量小且经过验证。

优化 draft extend 的 select_index 计算

该 PR 极小且安全，建议直接合并。虽无测试覆盖，但由于逻辑等价且改动简单，风险可控。对于追求极致性能的工程师，可关注此类微优化；对于一般开发者，可快速略过。

修复 Nemotron3-Ultra MTP 参数与 NVIDIA 参考对齐

该 PR 较为简单，如果关注 Nemotron3-Ultra 模型部署，可以精读此文档。主要为保持与其他框架的参数一致性。

添加 DeepSeek-V4-Flash 演示 notebook

该 PR 适合作为入门参考，尤其是需要快速体验 DeepSeek-V4-Flash 长上下文能力的用户。但技术人员若关注推理引擎深度优化，可跳过此 PR。

统一 ProfileReqInput 为 ProfileReq 并清理接口

推荐阅读 `io_struct.py` 和 `common.py` 中的重构模式。核心设计决策包括：① 将 `ProfileReqType` 枚举作为 `ProfileReq` 的成员，避免外部重复定义；② 通过 `normalize_serialized_named_tensor_payloads` 统一多来源tensor数据的格式，可以作为一种数据清洗模式在其他场景复用。

修复 eager runner 对无 input_ids 的 batch 支持

建议快速合并。这是一个简单且必要的修复，完善了对嵌入输入的支持。

共享 prefill 和 decode 的 CUDA graph 内存池

值得精读。该 PR 展示了如何通过共享全局资源来减少内存占用，且改动极小（+26/-8）。适合作为类似共享池模式（如 EAGLE 的 draft pool）的参考。