Prhub

#25369 Add hicache feature in dsv4 cookbook

原始 PR 作者 hzh0425 合并时间 2026-05-15 15:06 文件变更 2 提交数 1 评论 2 代码增减 +50 / -4

执行摘要

DSV4 部署文档新增 HiCache 选项

为 DeepSeek-V4 用户提供使用 HiCache 层次化 KV 缓存能力的功能入口和文档说明,用户无需手动拼写复杂的启动参数,通过 UI 切换即可生成正确的部署命令。

该 PR 是常规文档更新,值得关注的是其展示了如何在交互式命令生成器中安全地集成新的功能选项(环境变量 + 启动参数),可作为后续添加其他选项的参考模式。建议阅读 deepseek-v4-deployment.jsx 中 hicache 选项的定义和命令拼接逻辑。

讨论亮点

无 review 讨论或评论。

实现拆解

  1. 在部署生成器 UI 中添加 HiCache 选项docs_new/src/snippets/autoregressive/deepseek-v4-deployment.jsx):在 options 对象中新增 hicache 字段,包含 disabled(默认)和 l2 两个选项,后者附带 GPU+CPU 副标题。
  2. 在命令生成逻辑中集成 HiCache 参数(同一文件):在 generateCommand 函数中解构出 hicache,在 H200 FP4 路径和 Blackwell 路径中根据 hicache === 'l2' 添加 --enable-hierarchical-cache 等六个启动参数,并在环境变量中设置 SGLANG_ENABLE_UNIFIED_RADIX_TREE=1
  3. 在 cookbook 文档中新增 HiCache 说明小节docs_new/cookbook/autoregressive/DeepSeek/DeepSeek-V4.mdx):新增 4.2.3 小节,解释 HiCache 的 L2/L3 分层、与 UnifiedRadixTree 的配合,并引导用户使用 UI 切换来启用。
文件 模块 状态 重要度
docs_new/src/snippets/autoregressive/deepseek-v4-deployment.jsx 文档片段 modified 6.68
docs_new/cookbook/autoregressive/DeepSeek/DeepSeek-V4.mdx 文档 modified 3.02

关键源码片段

docs_new/src/snippets/autoregressive/deepseek-v4-deployment.jsx core-logic

在交互式部署命令生成器 UI 中新增 HiCache 选项(disabled/l2),并在命令生成逻辑中为 H200 FP4 和 Blackwell 路径添加对应的启动参数和环境变量。

// 在 options 对象中新增 HiCache 选项(位于 toolcall 之后)
hicache: {
  name: "hicache",
  title: "HiCache",
  items: [
    { id: "disabled", label: "Disabled", default: true },
    { id: "l2", label: "L2", default: false, subtitle: "GPU+CPU" },
  ],
},// 在 generateCommand 函数中解构出 hicache
const { hardware: rawHardware, modelSize, recipe, reasoningParser, toolcall, hicache } = values;// H200 FP4 路径中根据 hicache 选项添加参数
if (hicache === "l2") {
  fp4Flags.push(" --enable-hierarchical-cache");
  fp4Flags.push(" --hicache-ratio 2");
  fp4Flags.push(" --hicache-size 0");
  fp4Flags.push(" --hicache-write-policy write_through");
  fp4Flags.push(" --hicache-io-backend direct");
  fp4Flags.push(" --hicache-mem-layout page_first_direct");
}// 同时设置环境变量(在拼接命令前)
const fp4Env = [];
if (hicache === "l2") fp4Env.push("SGLANG_ENABLE_UNIFIED_RADIX_TREE=1");
const fp4EnvBlock = fp4Env.length ? fp4Env.join(" \\\n") + " \\\n" : "";
const fp4Cmd = `${fp4EnvBlock}sglang serve \\\n${fp4Flags.join(" \\\n")}`;

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

该 PR 仅涉及文档和 UI 交互,不修改任何运行时代码。风险极低:新增的命令参数与环境变量均已有对应实现,且通过现有代码路径执行;若用户误操作,可能生成无效命令,但 UI 默认禁用 HiCache,且命令被用户复制后才能运行,不会自动触发。

影响范围限于 DeepSeek-V4 部署文档阅读者和命令生成器使用者。正面影响:用户可直观启用 HiCache 功能,降低使用门槛。负面影响:无。

仅文档变更,风险极低

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论