2026-10-13
2026-10-13
在已测试的设置中，有限预算幂采样器的表现类似似然选择器，而直接瞄准目标的效果取决于任务
A Critical Look at Power Sampling when Test Time Sharpening LLMs
审视对象
| 幂采样的目标是完整序列，其分布为 π_α(x | z) ∝ p₀(x | z)^α，而不只是彼此独立、经过降温的下一个 token 分布。早期工作已将这一序列级目标与低温解码区分开来，并提出针对幂化似然的分块 Metropolis–Hastings 方法。相关的 Power-SMC 工作则使用序贯重要性校正来指向同一分布。因此，当前论文将问题从目标是否定义明确，转向实际的有限预算方法能否真正达到该目标。 |
这使有限预算下的行为成为需要审视的具体局限。早期 MH 工作指出混合时间可能呈指数级增长，而其有限步数实验并未证明收敛。一种基于 rollout 的替代方案将每次决策限制在排名前八的候选 token 内，对每个候选 token 使用八次 rollout，并加入截断的未来估计；但所提供的设置未说明实验时域。这些条件意味着，仅有精确的目标恒等式或校正，并不能证明已实现的采样器会产生准确的目标分布样本。
方法变化
Power-RLOO 不再依赖推理时反复校正，而是直接优化以接近序列级幂分布：它采用 KL 正则化的策略优化，并将基础模型似然的对数作为奖励。其低温初始化取 1/α，目的是先匹配局部 token 锐化，再由适配器学习序列级的前瞻校正。
证据表明什么
在 α=4、使用 Qwen2.5-7B-Instruct 时，Power-RLOO 在 MATH500 上报告的准确率为 78.4%，在 GPQA 上为 41.0%；在两个基准的已列出方法中，报告结果均为最高。Power-SMC 的结果分别为 76.9% 和 35.8%，而 Best-of-N-mean 分别为 77.0% 和 36.5%。这并非普遍优势：摘要将直接瞄准目标带来的收益描述为有噪声，且仅适用于某些模型和任务。在 Qwen2.5-7B-Base 上，Power-RLOO 的生成结果坍缩为过短的补全，因此表 1 记录为 N/A，而非给出准确率。
对复现而言，这一边界很重要。评估涵盖三种模型变体和两个基准，所有运行均使用随机种子 0；因此，这些结果不能证明不同运行之间的变异性，也不能证明统计显著性。所提供的文本还报告了 LoRA 秩的差异：第 5.1 节为 32，而附录 D 为 16。
对于新的推理方法，可迁移的做法是在衡量目标忠实度的同时，测量实际行为：匹配总 token 预算，与 Best-of-N 和简单的似然选择进行比较，记录长度和粒子权重诊断，并在多个随机种子上重复实验，然后再将收益归因于预期分布。因此，论文最有用的问题并非“锐化是否有效？”，而是“有限预算算法实际采样自什么分布？”
阅读这篇论文，可以练习审视推理时算法是否真正达到其所声明的分布，而不是在检查有限预算下的行为之前，就把收益归因于该目标。
abstract; Section 4, S4.SS0.SSS0.Px2.p1.2–p1.3; Table 1, S5.T1.2.15; comparisons in S5.T1.2.11–T1.2.12; Section 5.2, S5.SS2.SSS0.Px3.p2; Table 1, S5.T1.2.8; Section 5.1, S5.SS1.SSS0.Px1.p1; Appendix D, A4.SS0.SSS0.Px4.p1; Section 5.1, S5.SS1.SSS0.Px2.p1; Appendix D, A4.SS0.SSS0.Px1.p1 · Section 4.1, Proposition 1; Section 4.3, paragraph 3; Section 4.3, paragraph 2 · §4.1, Eq. (8) · §4.2, Baselines; see also §3.3, Algorithm 1
S³R 以稀疏注意力生成候选，同时通过精确验证保留 GRPO 响应组
S$^3$R: Fast and Faithful RL Rollouts via Self-Sparse Speculative Decoding
长上下文 RLVR 需要减少 KV 缓存流量，同时不改变用于策略优化的响应组。S³R 指出了直接进行稀疏采样为何并非无害近似：在学习器参数和 rollout 参数固定时，即使采用精确的逐响应重要性加权，也未必能恢复期望的稠密 GRPO 更新，因为某个响应的优势取决于其他对照响应，而这些响应的分布仍然是稀疏的。在把更快的采样器当作 on-policy rollout 之前，这是需要检验的具体局限。
S³R 改变的是近似边界，而不是对已完成的稀疏样本进行校正。它仅用稀疏注意力起草候选 token，随后执行全注意力验证和精确投机采样；起草与验证共享同一策略参数，因此该方法不需要单独训练或更新起草器。在固定的 rollout 快照和提示下，若响应相互独立、遵循所述采样与终止规则、覆盖支持集、验证时可用完整历史 KV，并在拒绝后进行残差校正，则接受/拒绝过程能够保留稠密条件响应分布，因而也保留稠密响应组分布。
系统设计由这一精确性要求决定。稠密验证仍需要完整的历史 KV 缓存，因此 S³R 加入了 KV 感知调度器，在维持 rollout 并行度的同时限制反复卸载和恢复。在稀疏起草、全注意力验证的技术栈中，Qwen3-1.7B 的 KV 管理消融实验报告称，其 AIMD 调度器的生成吞吐量比 AR 高 59.5%；这反映的是该技术栈内的调度器表现，并非整个端到端生命周期。
在报告的端到端设置中——DAPO-MATH-17k、256 个提示，每个提示有八个响应、一台配备八张 H100 GPU 的节点、稀疏预算为 0.05、起草长度为六——S³R 在 Qwen3-1.7B 和 Qwen3-8B 上分别达到 AR 训练吞吐量的 1.39× 和 1.35×，基准测试结果也相近。其动机可从一项剖析条件中看出：在测得的全注意力 AR GPU 内核时间中，注意力占 75.8%；但这并不是端到端训练测量。
收益是有条件的。当实时 KV token 数为 64K–128K 时，即使接受率达到最高，测得的阶段成本仍高于 AR 参考值。报告中的主要训练实验使用 Qwen3-1.7B 和 Qwen3-8B，在 DAPO-MATH-17k 上进行；更广泛的模型家族，以及自适应稀疏预算或上下文选择，仍属于未来工作。因此，一项有用的复现实验应针对实时 KV 大小、起草预算、接受率和调度策略进行盈亏平衡扫描，并同时报告精确分布检查和端到端训练吞吐量。
阅读这篇论文，可以了解一种可复用的区分方式：究竟是在近似行为策略，还是仅在近似提议机制；论文也提供了具体方法，用于检验精确验证带来的收益能否抵偿完整缓存与调度成本。
SEEDS 将由预览引导、基于完整证据的准入机制明确引入搜索智能体
SEEDS: Preview-Guided Evidence Admission for Search Agents
搜索系统往往把检索和证据消耗视为一个整体流程。SEEDS 将缺失的控制环节称为证据准入：决定哪些检索到的候选内容可以进入智能体的推理上下文，以及有多少内容需要完整查阅。论文的核心改动是，在展开候选内容之前先提供轻量预览，而不是准入固定数量或按排名排列的前缀。
在每个搜索步骤中，SEEDS 展示候选预览，并让智能体根据当前推理状态选择任意子集，包括决定子集大小；之后才完整查阅选中的候选内容。这不只是可变数量的选择：DPS 已经能够自回归地选择可变长度的段落索引序列，而 Search-o1 也已将迭代检索与单独的文档分析/细化步骤结合起来。SEEDS 更具体的贡献在于准入的时机和信息流——先预览，再完整阅读，并依据不断演进的搜索轨迹作出决定。
最有力的局部结果是在 QwQ-32B 上报告的：使用 Wikipedia-2018 语料库，在六个开放域问答基准上，Seeds-ReAct 在所有基准中都取得了不带 Reason-in-Documents 的多轮方法中最高的精确匹配率。效率比较也很具体：Seeds-ReAct 平均每个问题完整阅读 3.1 份文档、处理 528 个文档 token；相比之下，ReAct dyn-k 分别为 7.7 份和 1,267 个文档 token。在报告的实时网页比较中，Seeds-o1 将平均准确率从 Search-o1 的 9.28 提高到 11.78，并将平均抓取页面数从 27.81 降至 8.30；但其 HLE F1 较低，为 6.66，而 Search-o1 为 10.60。因此，所提供的比较并非仅针对证据准入的因果消融，汇总指标上的提升也并不适用于每项指标。
这些边界很重要。消耗分析统计完整文档阅读量和文档 token 数，但不包括预览、提示、推理和生成输出；因此，它不能证明总推理成本或延迟更低。以答案为依据的分析只是证据效用的代理指标：出现答案字符串可能遗漏有用的桥接段落，也可能把无关提及计入其中，因此不能证明证据充分。查询感知预览是一种实用选择，而非已证实的普遍最优方案，因为预览表示和长度在不同数据集上的表现各不相同。
一种有用的复现实验是固定检索器、候选池、骨干模型和搜索预算，再比较前缀准入与任意子集准入。分别记录选中的候选项、完整阅读量、文档 token 数、总推理 token 数、延迟和答案质量。关键问题在于：当衡量完整计算成本——而不只是完整文档消耗——时，预览决策是否仍能改善质量—成本前沿。
阅读这篇论文，可以了解一种具体方法：将检索与高成本的证据消耗分开；其中的局部和实时网页比较既展示了收益，也揭示了成本衡量方面的注意事项。
abstract; §4.2, Main Results (RQ1); Table 1; Table 4, Evidence consumption; §4.2, Main Results (RQ1); Table 2; Table 2, live-web results; Appendix C.2, Per-Dataset Evidence Consumption; Appendix C.1, Answer-Bearing Evidence Proxy; Appendix B, Representation and Length · Methodology, Dynamic Passage Selection, paragraph 4 · Section 3.4, Knowledge Refinement via Reason-in-Documents
LQET 训练感知来源沿袭的信念更新，以抵御转述造成的重复计证
Provenance-Aware Belief Updating in Human-AI Feedback Loops
当一条观察被引用、概述后又转述给模型时，重复出现可能看起来像相互独立的佐证。本文检验的问题比一般的来源追溯更具体：如果明确提供报告的传播沿袭，训练能否让模型把对既有观察的转述视为非新证据，同时仍能根据真正的新报告更新判断？在其基准中，转录内容由彼此不同、与查询相关的证据根表示，因此，携带已有证据根的后代报告不会增加另一条观察。
潜在商集证据训练（LQET）改变了训练信号：它不再只使用彼此独立的逐点答案，而是加入匹配转录之间的关系。该方法结合稀疏贝叶斯软目标监督与约束：仅有转述的变化应保持模型预测不变；同一条新证据在不同转述历史中应产生一致的分数变化。它还检验不同证据根之间的组合，以及呈现顺序不变性。模型的二元信念由其下一个 token 的 YES 与 NO logits 之差读取。这是在给定来源信息上的关系训练，并非发现隐藏依赖关系的方法。
比较结果需要谨慎解读：LQET 使用 13 种训练视图，而仅针对任务的训练使用七种，尽管两种方法使用匹配的视图系列和优化器更新次数。因此，报告的完整方案收益无法将关系损失的作用与额外接触转录视图的作用区分开来。
在汇总的受控分布偏移测试中，对 Qwen3-4B 和 Phi-4-mini 使用三个配对随机种子时，相较于仅针对任务的训练，LQET 将新证据更新 RMSE 分别降低约 41% 和 44%；两种骨干模型均满足论文预先设定的合取标准。一项有用的匹配控制是固定报告作者和所呈现的结果，只改变该报告属于转述还是新测量。与一概压制新证据更新不同，LQET 更好地区分了这两种情况，这支持了对所提供来源信息的选择性利用。
在一个按规定执行的确定性三轮反馈模拟中，LQET 在各骨干模型—随机种子组合上改善了反馈漂移、反馈后的更新 RMSE 和最终 log-odds MAE。这是关于减少放大的模拟证据，而非来自人类参与者的证据。研究范围同样有限：任务是二元的，来源沿袭明确且可用，可靠性模型也已指定；测试仅涉及两种 4B 级骨干模型和三个配对随机种子。在留出的先验与校准偏移测试中，两种骨干模型的更新 RMSE 均有所改善，而监督视图 KL 均有所增加，因此逐点数值泛化仍存在尚待解决的权衡。
一项可迁移的研究做法是构造匹配历史，其中只改变证据的新颖性或来源沿袭，然后分别评估对转述的预测不变性，以及对新证据根的更新一致性。只要模型能够获得依赖结构，这种设计就能揭示模型究竟是在回应证据，还是仅仅在回应重复呈现。
阅读这篇论文，可以了解一个将证据来源信息转化为匹配历史训练约束的具体实例，以及区分抵御转述与压制真正新证据所需的控制方法。
注意力来源会改变视觉头集合，但测试中的 steering 并未胜过匹配随机对照
按注意力排序选出的头集合存在两个尚未解决的依赖因素：生成集合时的选择，以及用于验证它的干预。本文针对的方法学局限是：成功的 steering 结果本身并不能说明该分数是否找到了必要的头，也不能说明换用另一种 token 来源、查询措辞或语料库是否会选出相同的头。论文的具体改动是审计这些依赖因素，而非提出新的头发现算法。
作者在 Qwen3-VL-8B-Instruct 上，针对查询类型、注意力来源和发现语料库实施完整的 2 × 3 × 2 设计。他们为 12 种设置分别排序选出前 100 个头，随后使用独立的可操控性和必要性指标，将每个集合与层匹配的随机头集合进行比较。CERS 检验 steering 行为；NCS 则通过测量屏蔽选定头后、在匹配图像问题上的对比效应来检验必要性。这将两个问题区分开来：一个集合能否作为行为杠杆发挥作用，以及模型是否需要它来处理源自图像的证据。
决定性的筛选结果是，在这一设计中，注意力来源和查询类型比语料库更重要。对于前 100 个头的集合，更换语料库时中位数有 84 个头保持不变；查询类型变化时为 55 个，注意力来源变化时为 49 个。同一发现数据的两半之间则有 96–99 个头保持不变。因此，所选集合并非发现样例的一种简单稳定属性。
必要性随注意力来源而变化：查询片段集合比最后一个 token 集合更必要，差值为 0.083，p = 6 × 10⁻¹⁰。两个“指代加查询片段”集合也比 250 个层匹配随机集合高出 17–19 个标准差。更广泛的域外检查支持查询片段和输出 token 集合在 NCS 上反复占优，但最后一个 token 的表现并非在所有模型上都始终为零。
Steering 给出的答案则不同。在测试强度下，没有任何发现的头集合比其层匹配随机集合更善于 steering，秩检验 p ≥ 0.14；从同一层或任意层抽取的随机集合，其分数范围覆盖了发现集合的分数。完整的因子比较是在一个模型上完成的，其他模型只接受了范围更窄的检查。此外，NCS 是一种注意力消融干预，因此不能据此断定其他消融方法或激活修补也会以相同方式排列这些集合。
开展新的机制研究时，应记录生成每个集合所用的查询措辞、注意力来源、语料库和层组成。在不同数据划分上重新进行发现，再分别报告 steering 和必要性结果，并使用重复的、层匹配的随机对照。可迁移的关键问题不只是选定集合是否会改变行为，而是哪些发现选择能让它成为必要因素，且这种必要性无法由匹配的随机结构解释。
阅读这篇论文，可以了解如何通过因子比较和匹配随机对照，将基于注意力的发现分数与因果验证区分开来。