Prhub

radixark/miles · 标签视图

标签列表

聚合结果

speculative-decoding 相关 PR

2026-08-01
测试 重要性 3.72 洞察度 3.00

补齐测试夹具缺失的 spec 解码参数

建议快速合并。值得关注的点是:本 PR 暴露了手工构造 session server 命名空间的脆弱性,后续可以考虑抽一个公共构造器(例如 `make_session_server_args`)统一维护字段列表;另外在新增 server 侧读取的 args 时,应同步搜索所有 `SimpleNamespace` 构造点。

2026-07-31
缺陷修复 重要性 4.88 洞察度 5.00

补齐 session 路径 spec 计数器采集

值得快速精读(约 10-15 分钟)。这是一个教科书式的“双路径重复实现导致指标失真”案例:PR body 对根因、实测数据、修复后效果和数据可用性边界的分析非常扎实,尤其“修完 `spec_accept_length` 但 `spec_accept_rate` 仍为 0,因为字段缺失而非 bug”的区分,展示了严谨的排查方法论。后续建议以 `# TODO unify with Sample.update_from_meta_info` 为线索,推动 session 与直接 rollout 路径的元数据采集逻辑合并,从根本上消除此类分叉。

2026-07-30
缺陷修复 重要性 6.74 洞察度 5.00

修复冻结 draft 权重同步选择器

值得精读。该 PR 展示了如何用一个单一决策函数统一权重更新覆盖范围,并通过端到端指标(spec_accept_length)验证修复效果;同时揭示了非幂等变换(AITER shuffle)在权重同步中可能引发的静默损坏,对处理分布式训练推理一致性有启发。建议关注其条件判断的扩展性,并补充针对 selector 分支的单元测试。

#1795 Bump sglang to v0.5.16

原始 PR · 作者 yueming-yuan · 合并时间 2026-07-30 05:12

基础设施 重要性 6.82 洞察度 5.00

升级 sglang 至 v0.5.16,适配依赖栈并修复权重更新

值得精读,尤其是 `docker/Dockerfile` 的构建健壮性实践与 `miles/backends/megatron_utils/update_weight/common.py` 的未标记专家权重处理。后续 sglang 升级时,建议提前对照 v0.5.16 重构点(WeightUpdater、RemoteInstanceWeightTransporter、get_server_args)逐项核对 miles 侧引用,并确认 sglang#32809 是否已进入 sglang-miles 主线。

功能 重要性 6.37 洞察度 4.00

清理 AMD 脚本失效参数并新增 MTP 推测解码

值得精读,尤其是它对“失效配置”的识别方法和通过提交历史逐步收敛变更的过程,对于维护长生命周期启动脚本很有参考价值。MTP recipe 的配置方式也可迁移到其他 AMD 模型脚本。