标签列表
聚合结果
原始 PR · 作者 Dao007forever · 合并时间 2026-08-11 18:15
修复外部命中后 Mamba running CoW 语义被误判的问题
值得精读，尤其是对 vLLM V1 调度器块表所有权和 CoW 语义感兴趣的同学。1 行核心改动背后是 Core/Worker 状态一致性的深刻问题，配套测试完整复现了外部加载序列。建议关注 ywang96 提出的 `last_state_block_idx` 在投机解码下的分支差异，以及是否补充 `num_speculative_blocks > 0` 的回归测试。
原始 PR · 作者 majunze2001 · 合并时间 2026-08-08 20:20
修复混合模型 truncate 断言崩溃，仅 Mamba 组放宽
值得精读。核心看点是“谁必须覆盖端点 vs 谁可以被外部命中共担”的建模，以及用 spec 类型特判而非 blanket clamp 来保留失败响亮度；配套测试的双向发散 × 有无外部命中枚举是很好的调度边界测试范式。后续维护者应关注 PR#50630 的能力标志设计，考虑用声明式方式替代 `isinstance(MambaSpec)` 硬编码。
修复 NIXL Mamba 状态块在多槽 block table 下的配对错误
立即合入以修复 K3 等 Mamba 模型的 P/D 正确性问题。建议后续跟进 ZhanqiuHu 的建议，将 Attention 组和 SSM 组的裁剪逻辑统一到公共基类，减少分散的 clipping 点，降低维护成本。同时可考虑在 Mamba 管理器中直接避免分配无用的 scratch 槽。
Fused kernel 支持 Mamba DS-conv 多 token 对齐迁移
值得精读。该 PR 展示了如何在 Triton kernel 中通过 `HAS_IDX_MAPPING` 编译期分支统一支持 V1/V2 两种 runner 布局，设计决策清晰。同时体现了为满足 MTP 多 token 接受而必须处理 DS layout 行感知偏移的底层细节。测试覆盖了 SD/DS 布局、单/多 accept token、V1/V2 等价性，具有参考价值。
原始 PR · 作者 Sahil170595 · 合并时间 2026-07-08 06:01
修复 MambaSpec 页面统一失败崩溃
值得精读。本 PR 展示了 vLLM 中 KV 缓存规格统一机制的设计细节，以及 MambaSpec 与 AttentionSpec 的差异处理。对于使用混合模型、推测解码或维护 KV 缓存逻辑的开发者特别有价值。代码注释和 docstring 清晰，测试覆盖全面，可作为优秀 bugfix 范本。
原始 PR · 作者 izhuhaoran · 合并时间 2026-06-30 05:09
V2 Model Runner 支持 Mamba hybrid 模型 align 前缀缓存
本 PR 实现清晰，讨论深入，适合希望理解 Mamba 前缀缓存在 V2 中实现细节的工程师精读。特别是 copy-free vs pre-copy 的设计权衡以及 Triton kernel 的共享技术值得学习。
原始 PR · 作者 Josephasafg · 合并时间 2026-06-25 20:50
NIXL连接器支持Mamba1模型P/D分离
值得精读。该PR展示了如何通过泛化数据结构而非添加分支条件来扩展已有功能，设计简洁。对于维护kv-connector的工程师，理解 `MambaConvSplitInfo` 的偏移计算逻辑对后续修改至关重要。
原始 PR · 作者 varun-sundar-rabindranath · 合并时间 2026-06-12 12:07
修复 Mamba CPU Offloading 在 block 边界命中错误
建议阅读以了解 Mamba 模型与 offloading 交互的特殊处理，以及设计决策中 `round_down` 位置、配置来源选择的权衡。单元测试（ `test_mamba_align_cpu_offload` ）的设计值得参考。