SGLang is a high-performance serving framework for large language models and multimodal models.
修复增量流式输出中 logprobs 与 output_ids 不一致问题，确保所有入口点行为对齐。
该 PR 值得精读，特别是对于涉及流式处理或 logprobs 功能的工程师。关注点包括：`tokenizer_manager.py` 中的切片和合并函数设计，以及如何通过 `incremental_streaming_output` 标志控制行为，这体现了向后兼容的权衡。建议审查测试以确保覆盖边缘情况。
为 Ngram 推测解码添加外部语料库加载和后缀自动机支持，提升草案生成质量。
建议技术管理者和工程师精读此 PR，重点关注： 1. 后缀自动机的设计实现（如 SAM 状态机和匹配算法），这是高效后缀匹配的核心。 2. 候选合并策略（combineRootResults_）如何平衡 trie 和 SAM 预算，涉及性能与准确性的权衡。 3. 流式加载机制如何避免内存峰值，对大规模数据处理有借鉴意义。
修复DeepSeek V3.2/GLM-5文档中skip-softmax错误描述并改进表述。
该PR变更简单直接，无需深入精读。值得关注的点是：1) 文档修正基于第三方库（flashinfer）的约束条件，体现了对依赖项行为的准确理解；2) 遗留的arXiv链接问题可作为后续文档维护的待办事项。
优化Ngram推测解码的匹配状态增量推进，消除堆分配并添加基准测试。
值得精读以了解Ngram推测解码的性能优化技术，特别是Trie设计中的状态管理和内存优化策略；关注`advanceMatchState_()`的实现细节和基准测试方法。
为异构TP GPU暂存缓冲添加端到端测试和文档，覆盖MHA模型配置。
建议技术管理者关注测试设计的覆盖范围和文档准确性，工程师可精读测试类以学习如何为异构TP功能添加端到端测试，并注意MLA模型的限制以避免配置错误。
优化Ngram推测解码的锚点匹配，从O(D²)降至O(1)以提升性能。
建议精读，特别是Trie::match的状态化实现和MatchState的设计，这是优化核心路径的典型案例，值得关注版本控制和缓存失效策略。
为扩散模型添加LTX-2.3支持，包括覆盖材料化、配置更新和管道集成。
建议技术管理者关注覆盖材料化设计，这是处理外部模型权重的关键模式，值得学习；工程师应精读materialize.py和管道更新（如ltx_2_pipeline.py），以理解LTX-2.3集成逻辑。注意review中未解决的回归风险和文档不一致，需后续验证。
原始 PR · 作者 Qiaolin-Yu · 合并时间 2026-04-06 12:11
修复DeepSeekV3模型在per-tensor FP8量化下router_logits数据类型错误
该PR值得关注，尤其是对于使用DeepSeekV3模型和FP8量化的团队。虽然改动小，但揭示了模型量化实现中的细节依赖关系。建议：1) 了解flashinfer库对dtype的要求如何影响不同路由方法。2) 检查其他量化路径（如block scale）是否已有类似修复以确保一致性。3) 考虑为这类dtype依赖添加单元测试。
参与讨论