Prhub

#28952 Add DeepSeek V4 Flash demo notebook

原始 PR 作者 anushapant 合并时间 2026-06-25 02:42 文件变更 2 提交数 6 评论 7 代码增减 +1108 / -0

执行摘要

添加 DeepSeek-V4-Flash 演示 notebook

Add a runnable DeepSeek-V4-Flash demo notebook showing how to serve the model with SGLang and use its long-context capability for research paper synthesis.

该 PR 适合作为入门参考,尤其是需要快速体验 DeepSeek-V4-Flash 长上下文能力的用户。但技术人员若关注推理引擎深度优化,可跳过此 PR。

讨论亮点

正确性讨论:审查者 zjixia 指出 separate_reasoning 仅拆分 reasoning_content 字段,并不实际启用推理,导致“Think-High”调用实际上是非推理模式(提交的输出中推理块字数为 0)。正确的做法是使用 extra_body={"chat_template_kwargs": {"thinking": True}}。PR 作者随后更新了 Notebook 并重新运行。
设计讨论:审查者要求在 DeepSeek-V4 cookbook 中添加指向 Notebook 的链接,并修正了 --speculative-algorithm EAGLE 参数的缺失问题。PR 作者均予以采纳。

实现拆解

  1. 创建演示 Notebook:在 docs_new/demo/deepseek_v4_flash.ipynb 中创建一个完整的 Jupyter Notebook,包含从安装依赖、启动 SGLang 服务器、通过 arXiv API 获取论文、构建长上下文研究包,到调用模型进行摘要合成的全流程演示,并对比了非推理模式与推理(Think-High)模式的输出。
  2. 更新 Cookbook 引用:在 docs_new/cookbook/autoregressive/DeepSeek/DeepSeek-V4.mdx 中添加一个 Note 块,提供指向新 Notebook 的链接,方便用户获取端到端的可运行示例。
  3. 根据审查反馈修正:在 Notebook 中修复了 Think-High 模式的启用方式(使用 extra_body 中的 thinking 参数代替 separate_reasoning),并补充了 --speculative-algorithm EAGLE 参数的说明,最终重新运行并更新了单元格输出。
文件 模块 状态 重要度
docs_new/demo/deepseek_v4_flash.ipynb 演示笔记本 added 5.62
docs_new/cookbook/autoregressive/DeepSeek/DeepSeek-V4.mdx 烹饪手册 modified 2.72

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

Think-High 模式配置错误 正确性

审查者指出使用 `separate_reasoning` 不能启用 reasoning,需要通过 `extra_body` 设置 `thinking` 参数。提交的输出显示 reasoning block 为 0 确认了该问题。

结论:PR 作者更新了 notebook 使用正确的参数启用 Think-High 模式,并重新运行了输出。 · 已解决

添加 cookbook 链接与 EAGLE 参数修正 设计

审查者请求在 DeepSeek-V4 cookbook 中添加指向 notebook 的链接,同时修正了启动命令中缺少 `--speculative-algorithm EAGLE` 的问题。

结论:PR 作者添加了链接并修正了 EAGLE 参数描述。 · 已解决

风险与影响

该 PR 仅涉及文档和演示 Notebook,不修改任何模型、内核或运行时代码,因此无技术风险。唯一可能的风险是 Notebook 中的指令或参数配置过时,但通过 CI 和审查机制可最小化。

对用户:降低了 DeepSeek-V4-Flash 新手的上手门槛,提供了可直接运行的示例,尤其适合研究场景。
对系统:无影响。
对团队:增加了文档维护成本,但长期有利于社区推广。

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论