#2294 cleanup

原始 PR 作者 zhuzilin 合并时间 2026-08-20 16:21 文件变更 4 提交数 2 评论 0 代码增减 +3 / -5

执行摘要

整理 GLM-5 逐层比较脚本并移除冗余依赖

PR 标题为 cleanup，body 为空，没有关联 Issue。从变更内容推断，作者希望把仅被测试引用的逐层比较器从 slime/utils 库目录迁出，避免库代码中混入测试专用脚本；同时删除已不再需要的 ring_flash_attn 依赖，减少安装体积。具体动机细节因缺少描述只能推断，不作为确定结论。

该 PR 值得快速浏览，核心价值在于目录职责划分与依赖精简。阅读重点：(1) tests/glm52_layerwise_comparator.py 与 test_glm52_6layer_deterministic_e2e.py 中调用方式的变化；(2) 确认 ring_flash_attn 是否确无引用。不建议深入学习，因为不涉及算法或架构改动。

讨论亮点

该 PR 没有任何 review 评论或审核记录，由作者本人 zhuzilin 合并，提交记录仅含 cleanup 与一次 merge main。因此没有公开讨论线程或设计权衡可提取，所有决策均隐含在最终 diff 中。

实现拆解

移动比较器脚本：将 slime/utils/compare_glm52_layerwise.py 重命名为 tests/glm52_layerwise_comparator.py，并把 docstring 更新为 “Compare matching Megatron and SGLang decoder-layer outputs for tests.”。脚本内部的 TrainSequence 数据类、_load_records 等逻辑未做改动。
更新单元测试导入：tests/test_glm52_layerwise_comparison.py 将原来的 from slime.utils.compare_glm52_layerwise import ... 改为 from glm52_layerwise_comparator import ...。这依赖 pytest 运行时会自动将测试文件所在目录加入 sys.path，因此可以直接按模块名导入。
更新 E2E 调用方式：tests/test_glm52_6layer_deterministic_e2e.py 中执行比较器的命令从 python -m slime.utils.compare_glm52_layerwise 改为直接传入 str(REPO_ROOT / "tests/glm52_layerwise_comparator.py")。因为脚本已经是 tests 下的可执行文件，不再适合用 -m 包模块方式运行。
移除依赖：在 requirements.txt 中删除 ring_flash_attn 一行。该依赖原本位于 ray[default] 与 safetensors 之间，本次被清除，推测代码中已无引用。
配套说明：本 PR 不包含新增测试、schema 或部署配置；改动仅为文件位置、导入路径和依赖清单的调整，未触及任何运行时主路径逻辑。

文件	模块	状态	重要度
`tests/glm52_layerwise_comparator.py`	测试工具	renamed	4.06
`tests/test_glm52_layerwise_comparison.py`	测试用例	modified	3.42
`tests/test_glm52_6layer_deterministic_e2e.py`	端到端测试	modified	3.35
`requirements.txt`	依赖清单	modified	1.18

关键符号

load_train_sequences compare_layer_outputs map_requests_to_train_sequences

关键源码片段

tests/glm52_layerwise_comparator.py rename-or-move

该文件从 `slime/utils/compare_glm52_layerwise.py` 移动而来，是本次清理的核心动作：把仅被测试引用的比较器脚本移出库目录。移动后 docstring 明确标注 “for tests”。

# 该脚本原本位于 slime/utils/compare_glm52_layerwise.py，
# 由于只被测试引用，现移动到 tests 目录，docstring 明确标注 “for tests”。
# 脚本通过 `python tests/glm52_layerwise_comparator.py ...` 直接执行。
from collections.abc import Iterator
from dataclasses import dataclass
from pathlib import Path
from typing import Any

import torch

# 训练 dump 中的一条序列：包含 token 序列、各层 hidden state 与来源说明。
@dataclass
class TrainSequence:
    tokens: torch.Tensor
    layers: dict[int, torch.Tensor]
    source: str


def _load_records(path: Path) -> Iterator[dict[str, Any]]:
    # 兼容“单条记录”与“多条记录”两种 dump 格式，统一产出 dict 迭代器。
    value = torch.load(path, map_location="cpu", weights_only=False, mmap=True)
    if isinstance(value, dict):
        yield value
        return
    if isinstance(value, list) and all(isinstance(item, dict) for item in value):
        yield from value

tests/test_glm52_6layer_deterministic_e2e.py test-coverage

E2E 测试中调用比较器的方式从 `python -m` 包模块切换为直接执行脚本路径，属于与文件移动配套的调用方式调整。

# 在 6 层 GLM-5 确定性 E2E 测试中调用逐层比较器。
# 旧方式使用 `python -m slime.utils.compare_glm52_layerwise`，
# 依赖包模块路径；新方式直接执行 tests 目录下的脚本文件，职责更清晰。
if layerwise_zero:
    _run(
        [
            sys.executable,
            str(REPO_ROOT / "tests/glm52_layerwise_comparator.py"),
            "--megatron-dir", megatron_layerwise_dump,
            "--sglang-dir", sglang_layerwise_dump,
            "--layers", "0", "1", "2", "3", "4", "5",
            "--max-hidden-diff", "0",
        ],
        env=env,
        cwd=str(REPO_ROOT),
        stream=True,
    )

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论，后续有更多讨论时会体现在这里。

风险与影响

主要风险来自路径移动后的导入解析：tests/test_glm52_layerwise_comparison.py 中 from glm52_layerwise_comparator import ... 依赖 pytest 对测试文件所在目录的 sys.path 注入，若未来使用非 pytest 运行器或在子目录执行，可能出现 ModuleNotFoundError；但当前仓库 CI 均通过 pytest，风险低。另一个风险是删除 ring_flash_attn：如果仍有代码（如 VLM 相关路径）在运行时 import 它，会导致环境缺失依赖而报错，建议在 CI 的 GPU/VLM 安装流程中确认无残留引用。E2E 测试改为直接执行脚本后，由于 cwd 仍指向仓库根目录且脚本自身只依赖标准库与 torch，行为与原 python -m 调用等价，回归风险较小。

影响范围集中在测试工具和依赖清单。代码使用者：不需要再将比较器当作 slime 库的一部分安装即可运行，减少了库包体积。工程师：slime/utils 目录更干净，测试专用脚本的职责更清晰。系统层面：删除 ring_flash_attn 会改变安装依赖集合，需确认 VLM 相关流程不受影响。整体影响程度低。

路径移动影响导入依赖移除未验证测试资产职责清晰

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接，后续同步到相关引用后会出现在这里。

完整报告

执行摘要

一句话：整理 GLM-5 逐层比较脚本并移除冗余依赖
推荐动作：该 PR 值得快速浏览，核心价值在于目录职责划分与依赖精简。阅读重点：(1) tests/glm52_layerwise_comparator.py 与 test_glm52_6layer_deterministic_e2e.py 中调用方式的变化；(2) 确认 ring_flash_attn 是否确无引用。不建议深入学习，因为不涉及算法或架构改动。

功能与动机

实现拆解

移动比较器脚本：将 slime/utils/compare_glm52_layerwise.py 重命名为 tests/glm52_layerwise_comparator.py，并把 docstring 更新为 “Compare matching Megatron and SGLang decoder-layer outputs for tests.”。脚本内部的 TrainSequence 数据类、_load_records 等逻辑未做改动。
更新单元测试导入：tests/test_glm52_layerwise_comparison.py 将原来的 from slime.utils.compare_glm52_layerwise import ... 改为 from glm52_layerwise_comparator import ...。这依赖 pytest 运行时会自动将测试文件所在目录加入 sys.path，因此可以直接按模块名导入。
更新 E2E 调用方式：tests/test_glm52_6layer_deterministic_e2e.py 中执行比较器的命令从 python -m slime.utils.compare_glm52_layerwise 改为直接传入 str(REPO_ROOT / "tests/glm52_layerwise_comparator.py")。因为脚本已经是 tests 下的可执行文件，不再适合用 -m 包模块方式运行。
移除依赖：在 requirements.txt 中删除 ring_flash_attn 一行。该依赖原本位于 ray[default] 与 safetensors 之间，本次被清除，推测代码中已无引用。
配套说明：本 PR 不包含新增测试、schema 或部署配置；改动仅为文件位置、导入路径和依赖清单的调整，未触及任何运行时主路径逻辑。

关键文件：

tests/glm52_layerwise_comparator.py（模块测试工具；类别 test；类型 rename-or-move）: 该文件从 slime/utils/compare_glm52_layerwise.py 移动而来，是本次清理的核心动作：把仅被测试引用的比较器脚本移出库目录。移动后 docstring 明确标注 “for tests”。
tests/test_glm52_layerwise_comparison.py（模块测试用例；类别 test；类型 test-coverage）: 该测试的导入路径随脚本移动而变化，是保证单元测试继续工作的关键连带修改。
tests/test_glm52_6layer_deterministic_e2e.py（模块端到端测试；类别 test；类型 test-coverage）: E2E 测试中调用比较器的方式从 python -m 包模块切换为直接执行脚本路径，属于与文件移动配套的调用方式调整。
requirements.txt（模块依赖清单；类别 config；类型 configuration）: 删除 ring_flash_attn 是本次清理的另一个目标，涉及的依赖变动需要确认无残留引用。

关键符号：load_train_sequences, compare_layer_outputs, map_requests_to_train_sequences

关键源码片段

`tests/glm52_layerwise_comparator.py`

该文件从 slime/utils/compare_glm52_layerwise.py 移动而来，是本次清理的核心动作：把仅被测试引用的比较器脚本移出库目录。移动后 docstring 明确标注 “for tests”。

# 该脚本原本位于 slime/utils/compare_glm52_layerwise.py，
# 由于只被测试引用，现移动到 tests 目录，docstring 明确标注 “for tests”。
# 脚本通过 `python tests/glm52_layerwise_comparator.py ...` 直接执行。
from collections.abc import Iterator
from dataclasses import dataclass
from pathlib import Path
from typing import Any

import torch

# 训练 dump 中的一条序列：包含 token 序列、各层 hidden state 与来源说明。
@dataclass
class TrainSequence:
    tokens: torch.Tensor
    layers: dict[int, torch.Tensor]
    source: str


def _load_records(path: Path) -> Iterator[dict[str, Any]]:
    # 兼容“单条记录”与“多条记录”两种 dump 格式，统一产出 dict 迭代器。
    value = torch.load(path, map_location="cpu", weights_only=False, mmap=True)
    if isinstance(value, dict):
        yield value
        return
    if isinstance(value, list) and all(isinstance(item, dict) for item in value):
        yield from value

`tests/test_glm52_6layer_deterministic_e2e.py`

E2E 测试中调用比较器的方式从 python -m 包模块切换为直接执行脚本路径，属于与文件移动配套的调用方式调整。

# 在 6 层 GLM-5 确定性 E2E 测试中调用逐层比较器。
# 旧方式使用 `python -m slime.utils.compare_glm52_layerwise`，
# 依赖包模块路径；新方式直接执行 tests 目录下的脚本文件，职责更清晰。
if layerwise_zero:
    _run(
        [
            sys.executable,
            str(REPO_ROOT / "tests/glm52_layerwise_comparator.py"),
            "--megatron-dir", megatron_layerwise_dump,
            "--sglang-dir", sglang_layerwise_dump,
            "--layers", "0", "1", "2", "3", "4", "5",
            "--max-hidden-diff", "0",
        ],
        env=env,
        cwd=str(REPO_ROOT),
        stream=True,
    )

评论区精华

暂无高价值评论线程

风险与影响

风险：主要风险来自路径移动后的导入解析：tests/test_glm52_layerwise_comparison.py 中 from glm52_layerwise_comparator import ... 依赖 pytest 对测试文件所在目录的 sys.path 注入，若未来使用非 pytest 运行器或在子目录执行，可能出现 ModuleNotFoundError；但当前仓库 CI 均通过 pytest，风险低。另一个风险是删除 ring_flash_attn：如果仍有代码（如 VLM 相关路径）在运行时 import 它，会导致环境缺失依赖而报错，建议在 CI 的 GPU/VLM 安装流程中确认无残留引用。E2E 测试改为直接执行脚本后，由于 cwd 仍指向仓库根目录且脚本自身只依赖标准库与 torch，行为与原 python -m 调用等价，回归风险较小。
影响：影响范围集中在测试工具和依赖清单。代码使用者：不需要再将比较器当作 slime 库的一部分安装即可运行，减少了库包体积。工程师：slime/utils 目录更干净，测试专用脚本的职责更清晰。系统层面：删除 ring_flash_attn 会改变安装依赖集合，需确认 VLM 相关流程不受影响。整体影响程度低。
风险标记：路径移动影响导入, 依赖移除未验证, 测试资产职责清晰

关联脉络

暂无明显关联 PR

#2294 cleanup

执行摘要

整理 GLM-5 逐层比较脚本并移除冗余依赖

实现拆解

评论区精华

没有提炼出高价值讨论线程

风险与影响

关联 Issue

未识别关联 Issue

完整报告

参与讨论