执行摘要
修复 rotate_input_ids kernel 注册名
PR#27862 中错误地将注册表中的函数名从 rotate_input_ids 改为了 rotate_input_ids_triton,导致 multi_layer_eagle rotate_input_ids kernel 注册失败。
建议精读。该 PR 虽小但涉及 kernel 注册的正确性,值得快速合并。
无 review 讨论。
PR#27862 中错误地将注册表中的函数名从 rotate_input_ids 改为了 rotate_input_ids_triton,导致 multi_layer_eagle rotate_input_ids kernel 注册失败。
建议精读。该 PR 虽小但涉及 kernel 注册的正确性,值得快速合并。
无 review 讨论。
python/sglang/kernels/ops/speculative/__init__.py 中将 rotate_input_ids_triton 改回 rotate_input_ids。python/sglang/kernels/ops/speculative/multi_layer_eagle.py 中将注释中的 rotate_input_ids_triton 更新为 rotate_input_ids kernel,保持一致性。| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
python/sglang/kernels/ops/speculative/__init__.py |
Kernel 注册 | modified | 3.18 |
python/sglang/kernels/ops/speculative/multi_layer_eagle.py |
Kernel 代码 | modified | 2.38 |
分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。
当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。
风险极低,仅涉及函数名称字符串和注释的修正,不会引入新 bug。
修复了 multi_layer_eagle 中 rotate_input_ids kernel 的注册问题,确保该 kernel 能被正确调用;影响范围仅限于 speculative decoding 中的 multi_layer_eagle 功能。
当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。
参与讨论