执行摘要
修复 FlashInfer TRTLLM backend 日志重复输出
PR body 未详细说明动机。但从变更内容看,目的是消除在 FlashInfer-TRTLLM MoE backend 初始化时反复输出 'Setting inplace to False' 日志的问题,提升日志可读性。
该 PR 为简单维护性变更,无需详细审查。
无 review 讨论。
PR body 未详细说明动机。但从变更内容看,目的是消除在 FlashInfer-TRTLLM MoE backend 初始化时反复输出 'Setting inplace to False' 日志的问题,提升日志可读性。
该 PR 为简单维护性变更,无需详细审查。
无 review 讨论。
print_info_once 的导入,替代原有的 logging 模块。__init__ 方法中,将原先的 logging.info("Setting inplace to False for FlashInfer TRTLLM MoE backend.") 替换为 print_info_once(...),确保该提示信息仅在首次调用时输出。| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
python/sglang/srt/layers/moe/fused_moe_triton/layer.py |
MoE 层 | modified | 3.94 |
python/sglang/srt/layers/moe/fused_moe_triton/layer.py
core-logic
唯一的变更文件,修改了导入和日志调用,影响 FlashInfer-TRTLLM backend 的日志行为。
# 导入部分:新增 print_info_once 工具函数
from sglang.srt.utils import (
cpu_has_amx_support,
get_bool_env_var,
is_cpu,
is_hip,
print_info_once, # <-- 新增导入,用于单次打印
round_up,
)
# __init__ 方法中 inplace 设置日志的变更
if (
get_moe_runner_backend().is_flashinfer_trtllm_routed()
or get_moe_runner_backend().is_flashinfer_trtllm()
):
if self.moe_runner_config.inplace:
# 原 logging.info 替换为 print_info_once,避免每次初始化重复打印
print_info_once(
"Setting inplace to False for FlashInfer TRTLLM MoE backend."
)
self.moe_runner_config.inplace = False
当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。
风险极低:仅改变了日志打印行为,不影响任何逻辑判断或运行结果。print_info_once 确保消息只打印一次,避免重复日志。
影响范围小:仅影响使用 FlashInfer-TRTLLM MoE backend 且配置了 inplace 的场景。用户日志中该提示将不再重复出现。
当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。
参与讨论