vllm-project/vllm

支持 DeepSeek-V4 Quark 混合量化 checkpoint 加载

值得精读。重点关注三个设计决策：per-block FP8 拆分为独立 scheme 类的模式（对齐 modelopt 写法）、通用 QuarkConfig 与模型专属映射的边界划分（含 packed_modules_mapping 类级复制细节）、process_weights_after_loading 只做委托不写后端特判的约定。评审中关于 NVFP4 MoE w1/w3 global scale 策略（raise vs max vs w1）的交锋也值得回味，最终选择了与 ModelOpt / compressed-tensors 一致的既有约定。

修正 block-FP8 MoE 测试参考，保留全局紧容差

值得精读。重点看 `torch_w8a8_block_fp8_moe` 的双参考设计（按 kernel 精度配对参考变体）以及作者对 #46658 方法的量化论证——这是区分“kernel 误差”与“参考伪影”的教科书级案例。mawong-amd 对 FP8 量化 ULP 差异的分析也有普适参考价值。

KV offload 新增磁盘后端，reload 提速超 10 倍

值得精读，尤其是 disk_backend.py 的双缓冲流水线与 launch_copy 接口抽象：它演示了如何在不改动 worker 传输逻辑的前提下替换 offload 后端，以及 O_DIRECT 对齐、iovec 预构建、store/load 队列分离等工程细节。设计决策上推荐关注两点：一是调度层完全复用 BlockPool/LRU 使得磁盘槽位与 CPU 块同构，大幅降低接入成本；二是安全加固（先 unlink 再 O_EXCL、shutdown 泄漏 fd）体现了对多租户环境的考量。后续应补齐单测并明确 IO 线程异常恢复策略。

NCCL/稀疏 NCCL 后端迁移至有状态 Trainer 引擎，完成三后端统一

值得精读。核心价值在于：一是 trainer 侧并发模型（side thread 并发 `update_weights` 与广播 + `future.done()` 早期报错 + 异常时不 join 防止挂死）的工程取舍；二是 wire 参数单源化设计，让 `trainer_init` 通过 init 握手直接把 packed 等必须一致的参数下发 worker，从结构上消除两侧分叉；三是 `_validate_patch` 前置校验避免广播中途 size mismatch 卡死双方。建议与 #48042、#48981 连读，观察抽象如何在三个后端逐步落地；同时关注后续 follow-up 对文档与 worker ABC 的清理。

ROCm Kimi-K3 尾投影按 TP 分片，吞吐提升约 3~5%

值得精读，尤其是 `_shard_up_proj_tail` 的「先 all-reduce 还原 latent、再按 rank 只算自己的 up_proj 切片、通过 `addmm_` 的 beta-add epilogue 并入 shared 部分、最后由最终 all-reduce 缝合」模式，是 CUDA Tier 2 路径在 ROCm 的镜像移植。测试设计也很有参考价值：用 narrow 权重 + capture 中间张量来固定「每 rank 只写自己 shard」的算术契约，而不是只跑 e2e。若要复用该模式，注意把分片前置条件（TP 整除、scaling factor、sequence parallel）纳入配置契约。

XPU CI 关闭编译缓存，规避 Triton 偶发段错误

该 PR 值得 CI/基础设施负责人快速浏览，理解 workaround 的适用范围与移除条件；普通开发者在处理 XPU flaky 测试时可参考此模式。核心关注点不是实现本身，而是它与上游 issue #7682 的联动：若上游移除 dlclose() 的修复落地，应及时清理这些环境变量并恢复编译缓存复用。

修复 Mamba all 模式 offload 边界对齐错误

值得精读，尤其是给负责 KV offload 与状态缓存类组件的工程师。三点值得借鉴：一是 issue 驱动的根因分析路径（边界命中 = 点状态恢复 + 末 token 重算的组合），二是用 FP32 无损状态隔离精度噪声、再用负向对照证明测试有效性的方法论，三是 PR 作者对 CI 失败逐条归因（节点故障 vs 上游回归）的严谨态度。阅读重点放在 `resolve_mamba_align_size()` 的对齐语义与 `test_mamba_cpu_offload_boundary` 的断言设计上。

修复 EPD 编码实例因多余 gather 崩溃

值得精读。该 PR 展示了如何在 worker 侧而非调度器侧消除错误报告，以及如何通过拆分 encode/gather 半路径来避免无意义计算与崩溃；对 Model Runner V2 多模态路径的维护者和 EPD 部署使用者有参考价值。测试代码对 mock 契约的描述也值得借鉴。