标签列表
聚合结果
原始 PR · 作者 ShangmingCai · 合并时间 2026-08-24 13:56
修复 XPU 后端从配置袋读取确定性推理开关
值得精读，因为这是一个典型的配置袋迁移遗留问题的修复，展示了如何在 SGLang 中正确读取解析后的配置值。对于维护注意力后端或涉及确定性推理的工程师很有参考价值。
原始 PR · 作者 chx96642264 · 合并时间 2026-06-25 09:12
在 NPU 上引入 FA3 算子支持确定性推理
建议对 NPU 确定性推理感兴趣的读者仔细阅读此 PR，尤其是 FA3 算子的集成方式和审查中的设计决策（延迟导入、语义简化）。该 PR 为 NPU 后端提供了可选的确定性推理能力，但需关注第三方依赖的稳定性。
原始 PR · 作者 Estrella-xx · 合并时间 2026-06-09 09:22
NPU 后端确定性推理适配
值得精读，特别是 `npu_batch_invariant_ops.py` 和 `batch_invariant_ops.py` 中的条件注册逻辑，展示了如何在 SGLang 框架中为不同硬件后端提供操作符替换。采样器中的种子化改造也是一个可重用的模式。
原始 PR · 作者 merrymercy · 合并时间 2026-05-06 08:21
在 batch invariant 模式中注册 rms_norm 和 mm.dtype
该 PR 逻辑清晰、改动精简，值得关注的是其对 batch-invariant 兼容层的扩展模式，展示了如何为更多 ATen 算子添加确定性支持。建议后续测试覆盖新增算子的确定性行为。
为 XPU 操作添加确定性模式
值得精读，特别是 `batch_invariant_ops.py` 中通过 `get_dispatch_device_backend` 实现多后端调度的设计模式，以及 layernorm 中条件分支的编写方式，对后续扩展其他硬件有参考意义。PR 表明团队在为 Intel XPU 提供一阶支持，建议关注后续 intel_dev 分支的集成情况。