在 1.3–8B 规模下,Canon 让架构差异变得可测,而标准分数仍会掩盖检索失败
本文检验:在较小规模预训练研究中被掩盖的架构差异,是否会在更大且资源匹配的规模上变得可测。论文报告了 64 次从头训练运行,涵盖参数量从 1.3B 到 8B 的 Transformer 和线性模型系列,训练数据为 1–2T 个 Nemotron-CC token。此前一项 1.3B/100B-token 对比发现,仔细调优可以使架构差异几乎消失;然而,本研究同时改变了 token 预算和数据语料,因此不能把差异变得更明显单独归因于规模。
主要干预是 Canon,它在模型中加入局部 token 混合。论文还提出 GLA5 和 GDN2:用低秩门替换循环层输出门中的全秩门,并重新分配由此节省的参数。这些改动是在对齐的比较中评估的,而非作为孤立的实现轶事来讨论。具体而言,大规模 GLA5/GDN2 对比匹配了关键模型资源和训练资源,但门控分解与参数重新分配仍然是一个组合干预。
Transformer 的关键结果在所测试的四种匹配设置中一致:在报告的 lm-eval 平均分上,表现最差的 LlamaCanon 运行仍超过表现最好的原版 Llama,报告的提升为 0.8–1.5 个百分点。在 8B/1T 设置下,作者估计,LlamaCanon 大约少用 28% 的 token,就能达到原版 Llama 最终的 MMLU 准确率。这是基于曲线的估计:其数值会随平滑方法以及目标准确率上下移动 ±1 个百分点而变化。
对齐的线性模型比较支持一种更有限的解读。加入 Canon 后,GLA5 在训练损失和标准基准平均分上接近 GDN2,但两种模型并非在每项指标上都相同。作者将这一模式解读为:更复杂的循环更新带来的部分收益可能来自局部 token 混合;这并非对该机制的直接测量。标准平均分也无法说明基本的上下文学习行为:在论文的合成双跳任务中,所测试模型的表现总体仍接近 33.3% 的随机猜测基准,包括 8B/1T 设置。
可迁移的研究操作是:将匹配的预训练消融实验与针对架构预期支持能力的探针结合起来。这里,每项定制任务在每种背景长度下使用 1,000 个样例,因此不应将双跳结果推广到自然情境下的推理。一个有价值的后续问题是,检索缺陷究竟源于将信息编码进循环状态,还是源于从中读取信息——仅凭报告的准确率无法区分这两类失败。
设计架构消融实验时值得一读:本文展示了如何将资源匹配的预训练与特定能力的检索探针结合,而不是把相近的基准平均分当成模型等效的证据。
来源位置
经校准的决策奖励在一种设置下达到答案键级别的 MATH500 准确率,但在更难的数据上校准失效
Calibrated Decision Rewards: Training Language Models with a Judge That Knows How Sure It Is
答案检查器精确,但需要参考答案;学习型奖励模型和 LLM 评审器无需参考答案即可工作,但其分数并非概率。RLCDR 改变了奖励接口,将 LLM 转换为决策模型:它针对回答提出一个类型化问题,在一次前向传播中读取选项概率分布,对选项顺序造成的偏差进行校正,并用约一百个标签进行校准。对于结果,可以询问最终答案是否正确;对于过程反馈,则可以询问哪一步出现了第一个错误。
在一项报告的设置中,使用 GRPO 在 MATH 上训练的 Qwen3-1.7B 将 MATH500 准确率从 72.2% 提高到 76.8%(+4.65 个百分点,p < 1e-4)。匹配的随机奖励对照仅提升了 0.65 个百分点,而答案键训练达到 76.9%;论文称,在这项实验中,RLCDR 与答案键训练在统计上无法区分,并未声称二者已被证明相等。困难题目上的提升更大:第 5 级准确率从 44.8% 升至 51.7%(+6.9 个百分点)。
有价值的操作性证据不只在于最终分数。在策略自身生成的数学轨迹上,RLCDR 的校准误差低于使用相同 27B 骨干模型的 softmax 评审器:ECE 分别为 0.074 和 0.141,Brier 分数分别为 0.077 和 0.106,AUROC 分别为 0.956 和 0.943。作者还报告,在完整数据集运行中,依据其测量的奖励—真实值差距,没有发现奖励黑客行为的迹象。在离线评估中,尽管没有接受过步骤标签训练,决策模型在报告的每个数据划分上定位首个错误的表现都优于所测试的 7B 过程奖励模型。
当难度分布发生变化时,方法的适用边界便显现出来。在仅含难题的训练数据上,83% 的答案是错误的;无参考答案的 RL 仍将策略在 MATH500 上的表现提高了 1.9 个百分点,但不及答案键训练。作者将这一差距归因于概率过度自信。在这种设置下,决策模型对答案的排序仍然不错(AUROC 0.89),但其平均奖励概率为 0.28,而真实准确率为 0.17。端到端策略证据仍仅限于一个数学任务上的一个 Qwen3-1.7B 随机种子;所提出的重新校准修正方案也未经过测试。
值得沿用的实用实验是:在策略当前生成的样本上同时测量排序能力和概率校准,再测试发生已测量的分布偏移后重新校准的效果;本文为这种设计提供了动机,但并未证明该修正方案有效。
阅读本文,可以了解一项端到端奖励测试如何同时测量策略提升、策略样本上的校准表现,以及在困难分布下的失效。
来源位置
LLM 评审器 RL 会迁移与类别相关的拒答,但几乎不迁移特定答案知识
Blind Spots Travel, Knowledge Stays Home: What RL Inherits from an LLM Judge
发现
本文针对基于评审器的 RL 中一个测量缺口:总体准确率和弃答率可能无法揭示拒绝是否集中在某一问题类别上。作者进行了 814 次 RL 运行,训练 7–8B 模型回答闭卷问题或弃答。主要设置使用 Qwen2.5-7B-Instruct 和 Llama-3.1-8B-Instruct,采用带 LoRA 的 GRPO 训练 120 步;每次运行从 TriviaQA、PopQA 或 NQ-open 中抽取 750 个问题,并使用 0.2 的 KL 惩罚。
第一个测试考察评审器的事实知识是否能改善模型在新问题上的选择。在弃答率匹配时,使用知晓答案的评分器训练,并未比 32 样本自洽性规则更能改善问题选择;对于答案键,测得的平均差异为负 0.8 个百分点。这一区分了两种能力:学习判断某个具体答案是否正确,以及学习何时作答的策略。
决定性的方法变化是有针对性的裁决干预。作者复制某个评审器的裁决模式,同时只更改十二个已知正确的训练答案,这些答案都涉及前州首府。在这项手工设定的实验中,拒绝这十二个答案后,模型对未见过的前州首府的拒答率从 5% 升至 90%,每种条件进行了三次运行。因此,效应与裁决在某种可识别问题类型中的分布位置有关,而不仅仅与评审器总体接受率有关。
强制解码探针用于测试模型是否忘记了这些答案。作者屏蔽“我不知道”后进行强制解码,在所测探针中重新获得了大多正确的首府答案。在这一设置下,结果支持这样的解读:拒答主要反映作答意愿受到压制,而非知识被抹去。
论文还提出一种无需评审器的信号:如果未训练的学生模型生成的 32 个样本中,多数答案一致,就奖励该答案。应将其视为实验基线,而非自动视为无标签校准:阈值是在带标签数据上检查的,而且固定的 20-of-32 阈值在 Qwen TriviaQA 上表现较差。
适用边界很重要。主要研究局限于简短答案的闭卷问答,以及经过 LoRA 微调、参数量为 7–8B 的学生模型;研究未测试开放式生成。许多比较只有两到六次运行,一些关键估计在不同运行间并不稳定。知识保留结果也取决于 KL 惩罚:没有该惩罚时,更多留出答案发生变化,且一些运行的准确率大幅下降。因此,在将类别层面的盲点迁移视为普遍现象之前,一个有用的复现实验是将十二裁决干预迁移到不同类别、模型和 KL 设置中。
本文提供了一种可复用的评估模式:改变一小部分疑似存在系统性问题的评审裁决,再用强制解码区分知识丢失与作答受抑。
来源位置
减少去噪步数可能提高 Physics-IQ,同时降低 Kernel Physics-IQ
What One Sample Cannot See: Why Fewer Denoising Steps Can Score Higher on Physics Benchmarks
Physics-IQ 将每段生成视频与一段录制视频进行比较,尽管同一场景可能有多个有效的未来。对于其中的负型距离分量,论文将单样本距离的期望分解为一个适当核评分,加上模型自身离散度的一半。由于离散度项与录制视频无关,预测变化减少带来的收益可能超过分布准确性下降造成的损失。
Kernel Physics-IQ 使用每种条件下两个相互独立的生成样本来估计并扣除自身离散度。它保留 Physics-IQ 的三个掩码分量,并以全视频 RMS(β=1)替代像素 MSE,使用从 52 对非重复拍摄样本中得到的固定归一化常数。RMS 分量旨在区分像素 MSE 核评分可能混为一谈的视频分布。Physics-IQ Verified 是另一种干预:它改进提示词、清理参考激活图,并采用截断且权重相同的样本级聚合;而本文则通过改变估计量来针对生成样本的离散度。
主要的真实模型评估涵盖五个图像到视频模型、66 个中心视角场景,以及每种设置下七个生成样本。默认的两步采样使每个受测模型都出现了可检测到的 Kernel Physics-IQ 下降。在 CogVideoX 的 50-versus-2-step 比较中,官方分数上升了 0.055,而 Kernel Physics-IQ 下降了 0.131;论文将这一差异归因于离散度溢价超过核评分损失。固定权重扫描也很重要:只改变采样节点,就带来了可检测到的 0.099 Kernel Physics-IQ 提升,而官方分数的差异未达到可检测水平。在两个结果概率已知的受控物理世界中,Kernel Physics-IQ 对真实分布的评分高于坍缩和校准失准的替代分布;官方原始综合分则无法区分这些预测结果。
因此,一个有用的研究操作是分别报告分布评分和自身离散度,使用成对的独立样本,并在扫描推理控制项时固定权重、提示词和随机种子。这种设计可以检验基准奖励的是经过校准的未来,还是仅仅较低的变化幅度。证据仍有边界:真实数据中的拍摄样本对只能近似表示从物理未来分布中反复抽样;跨模型研究仅涵盖五个图像到视频系统和 66 个场景,不能代表其他模型类别或基准设计;尽管使用了成对的场景自助法区间,七随机种子比较仍存在有限样本不确定性。
阅读本文,可以了解基于参考视频的指标如何奖励较低的预测变化,以及如何用每种条件下的两个样本改为检验分布准确性。
来源位置
固定预算 RLVR 可能以预算内准确率提升为代价,削弱测试时的扩展能力
Budget Internalization: Fixed-Budget RLVR Trades Test-Time Scaling for In-Budget Accuracy
发现
在 RLVR 中,固定的 rollout 上限可能提高模型在该预算附近的准确率,却削弱模型在推理时获得更多 token 后的扩展能力。论文将此称为预算内化:训练结束后,模型使用的额外 token 很少,超出训练预算的部分有限,因此这个上限改变的是模型行为,而不只是控制训练成本。
最明显的反转出现在使用固定预算 GRPO 在 DeepScaleR 上训练的 Qwen3.5-4B 中。以 4k 预算训练的检查点,在 4K 时比基线高出 +34.8 个百分点,到了 64K 时则落后 −30.2 个百分点;以 8k 预算训练的检查点,在 8K 时高出 +42.4 个百分点,到了 64K 时则落后 −24.6 个百分点。在评估的最大预算下,模型的平均回答长度也远短于基线模型:Qwen 为 4.97–6.22k,而基线为 27.32k 个 token;Gemma 为 1.05–1.90k,而基线为 6.85k;Nemotron 为 1.01–1.97k,而基线为 6.11k。
结果如何测试
该研究在数学推理或程序生成问题上,使用固定的生成 token 上限训练 Qwen3.5-4B、Gemma4-E2B 和 Nemotron-3-Nano-4B,随后在不同推理预算下评估准确率和回答长度。其轨迹消融尤其有启发性:对人为缩短的轨迹进行 SFT,会重现高预算下的扩展能力损失;对自然完成的短轨迹进行 SFT,则不会。这支持被截断或人为缩短的训练轨迹可能发挥作用,但并未隔离轨迹集合之间的所有差异,也没有证实模型内部形成了对这一上限的表征。
研究操作
实际经验是,应将训练上限视为实验变量,而非单纯的计算限制。对于每个后训练检查点,都应在 rollout 上限以下、上限处和上限以上扫描推理预算;同时报告准确率和平均回答长度;并在每个预算下与基线模型比较。一个有价值的后续实验是保留相同的成功样例,只改变长轨迹是被截断、自然地较短,还是允许其完成。这种设计可以直接检验低预算下的收益能否保留,同时不牺牲高预算下的扩展能力。
边界
证据主要来自数学推理,所用模型有四到五十亿个活跃参数;作者也指出,他们并未证明该效应具有普遍性。主要 DeepScaleR/AIME 实验的重复验证最充分;迁移和消融结果通常只使用一个训练随机种子。报告的缓解方法也未能同时实现完整的预算内提升和基线模型在高预算下的表现,因此这一权衡仍未解决。
阅读本文,了解为什么模型在训练预算上限处有所提升,却可能在 64K-token 推理时相较基线模型表现逆转,以及如何设计评估来揭示这种逆转。