Self-Disagreement 训练模型判断针对自身答案的挑战
Benchmarks Don't Talk Back: Learning Through Self-Disagreement
FlipFlop 给出了具体的失败模式:在纳入的各项条件下,模型平均会改掉约 46% 的答案,最终准确率比初始准确率低约 17 个百分点。报告中效果最好的 Mistral-7B 微调变体将平均下降幅度从 9.5 个百分点降至 3.8 个百分点,但并未消除下降。随后,SCoRe 展示了由验证器奖励的 RL 可以改善第二次作答;在 MATH500 上,报告的两次尝试之间变化为 +4.4 个百分点。这些记录引出了一个更聚焦的问题:训练能否针对对反驳意见的判断,而不只是答案修订?
Self-Disagreement 改变了训练的基本单元。对于每个可验证问题,一个策略先给出论点,在不提供参考答案的独立上下文中生成针对该答案的反论点,判断反论点是否成立,然后再次作答。反论点通过采样生成,但不接受优化;GRPO 训练作答环节,而精确匹配验证用于评估答案正确性,以及裁定是否与验证器的判断一致。论文报告,训练和部署时均不使用奖励模型、偏好数据、人工标注或第二个模型。
在九个公开基准上,挑战时的宏平均综合准确率对 Qwen3-8B 从 50.0% 上升到 55.9%,对 Gemma-2 9B 从 19.9% 上升到 37.8%。在包含 327 个样本的意见分歧探测集上,基础版 Qwen3-8B 和 Gemma-2 9B 面对错误挑战者时,分别只有 53.3% 和 25.1% 的情况能坚持正确的首答;面对正确挑战者时,分别有 84.1% 和 93.2% 的情况会接受挑战。训练后,坚持率分别为 88.9% 和 89.5%,接受率为 53.3% 和 55.4%;在测得的接受案例中,模型并非只是停止改变答案。构成与比率分解表明,探测集上的大部分增益来自挑战情境下的决策,而不只是更好的首答;但这一结论仅适用于经过评估的模型和挑战者。在固定首答和外部反论点的条件下,优势仍为 6.2–14.1 个百分点,且每个训练种子的区间都高于五个百分点。
边界条件很重要。所有奖励都依赖于与参考答案进行精确匹配验证,因此其向没有可检查答案的任务迁移的能力尚未确立。正文中的交锋为单轮挑战;附录中的三轮实验并未使反复挑战的稳健性成为主要协议。作者也没有声称该方法适用于所有模型家族或规模,并提醒,高陪审评分并不代表推理可靠的证明。
一种实际可行的复现实验是分别报告坚持率和接受率,然后在固定挑战测试中用适合具体任务的验证器替换精确匹配验证,并延长轮数。该实验将检验所学决策策略能否超越论文主要采用的、答案可验证且以单轮为主的设置。
阅读本文,了解如何将首答准确率与面对挑战后坚持或接受的决策区分开来,并使用验证器评分评估和具体的 RL 训练目标。
来源位置
匹配的无批评者审计发现,方向性大语言模型反馈会降低有限预算下的 AutoML 搜索表现
The Critic Can Hurt: On the Safety of Critics in LLM-Guided AutoML Search
本文针对一个具体的评估缺口:人们会评估批评者是否有帮助,却很少评估它们是否会造成伤害。本文没有把批评当作孤立的文本产物,而是审计完整的、受反馈条件影响的选择策略。四臂审计隔离出批评者的边际效应,受控故障注入则测试反馈循环如何应对不同的错误结构。
在论文的主要表格数据审计中,Llama-3.1-8B 的反馈条件选择策略在八个数据集中的七个上低于无批评者随机搜索基线,报告的最差损失为 0.245 AUC。审计使用八个二分类数据集、一个共享且冻结的 96 配置候选集、T=8 和八个匹配的随机种子;评估指标是验证集当前最佳方案的最终测试 AUC。这表明在所测试的条件下存在危害,并不意味着所有批评者或 AutoML 任务都会受到损害。
故障注入有助于厘清作用机制。在所测试的“当前最佳方案优先”搜索循环中,即使随机扰动率达到 100%,随机错误造成的表现仍接近随机搜索基线;而在报告的各数据集上,系统性对抗错误的有限韧性阈值为 0.6–1.0。因此,在这一设置下,干预结果指向错误方向性,而不仅仅是错误频率,才是重要变量。
一个理想化的有效视野模型给出 q(m−1)>β 这一批评者优于均匀搜索的必要条件,但并非充分条件;论文没有为真实批评者确定 q、m 或 β。缓解措施的结果只是探索性的,不能作为数据集层面安全性的证据。在六个数据集上,相对于均匀搜索,原始策略的平均 AUC 为 −0.00541,简单的“不改进则拒绝”门控策略为 +0.00046,学习得到的检测器为 −0.00015。在报告的六数据集评估中,可部署检测器以较高的留一数据集 AUC 区分了论文标记的有害转移与其他转移。这支持将检测视为一个有前景的组件,而不是安全搜索的保证。
对智能体研究者而言,可迁移的操作是:用匹配的无反馈对照来评测整个反馈条件选择策略,分别注入随机错误和方向性错误,并在线测试缓解措施。边界条件很重要:审计衡量的是完整的反馈条件选择策略,包括其解析器和回退机制,而不是孤立的批评内容。CritFault 的核心标签基于注入的故障和一个 8B 批评者,因此其基准表现对跨模型和跨设置的自然发生的有害反馈能说明什么,仍有限。论文还指出,学习式检测或分类 AUC 单独都不能证明基线表现得到保全。
阅读本文,了解反馈驱动智能体的一种具体审计模式:与匹配的无反馈基线比较,区分随机错误与方向性错误,并在策略层面评估防护措施。
来源位置
DistOPD 以缓存的候选分布取代已记录 token 的标量监督,用于离线搜索智能体蒸馏
Rethinking Offline On-Policy Distillation: From Scalar Advantages to Distributional Supervision
离线在策略蒸馏可以通过一次性生成固定的参考策略轨迹,并缓存教师模型的 token 对数概率用于优化,从而免去实时的教师评分。Lightning OPD 采用了这一流程,但基于已记录 token 的标量优势监督,并未充分规定概率应如何分配给其他候选 token。
新论文报告了一个多轮智能体搜索中的具体失败案例:对于 Qwen3-4B-Base 学生模型,Lightning OPD 在全部五个评估基准上的表现都低于使用相同教师模型的 SFT 参照方法。使用 MiroThinker-1.7-mini 时,平均 F1 下降 3.3 个百分点;使用 Qwen3-32B 时,下降 3.1 个百分点。配套定理给出了一个更有限的解释:在固定轨迹和状态间独立的假设下,标量监督固定了已记录 token 的概率,却没有确定其他 token 的概率。满足附加条件时可能存在一种收缩 logits 的解,但分析并未证明这就是优化器实际采取的路径,也未证明它是实测性能下降的原因。
DistOPD 改变的是缓存目标,而不是恢复实时教师推理。在选定位置,它保留由参考策略或教师支持的高概率候选 token,纳入已记录 token,并将词表中省略的概率质量汇总到一个残差 token 中。随后,它在这些单元上对参考分布与教师分布进行几何插值,并使用正向 KL 进行训练。在未选定的位置,它采用由已记录 token 和残差 token 组成的双单元目标。目标在优化前即被固定,因此选定的候选 token 会获得 token 级别的校正,而残差内部的概率分配仍未确定。
在报告的设置中,对于两种教师,DistOPD 在全部五个基准上都优于 SFT 参照方法,且平均 F1 与在线 OPD 相当:使用 MiroThinker-1.7-mini 时为 50.5,使用 Qwen3-32B 时为 49.5;在线 OPD 对应的数值分别为 49.6 和 48.4。每种主要配置都只进行了一次训练。对于 Qwen3-32B 实验,DistOPD 使用了 13.8 个训练 GPU 小时,接近 Lightning OPD 的 13.6 个,也低于在线 OPD 的 146.0 个;其缓存则更大,为 7.53 GiB,而 Lightning OPD 为 1.79 GiB。
证据存在重要边界。DistOPD 报告的对齐改进是在选定的候选项与残差划分上测得,而非在完整词表上测得;粗化 KL 的变化不一定能界定完整词表 KL。实验使用一个 4B 学生模型,且在 top-256 评分过程中无法取得的候选概率被近似为零。
一种有用的复现实验操作是:固定轨迹、教师、优化器和预算,只替换标量目标、候选项加残差目标以及完整分布目标。追踪基准分数、熵、粗化 KL 与完整词表 KL、缓存大小和重复随机种子的结果。核心研究问题是:更丰富的缓存监督本身,能否在这一受控比较中保持优势。
阅读本文,评估面向工具使用智能体的离线蒸馏是否会在固定轨迹上丢失教师偏好,并参考论文给出的准确率、计算量、缓存和对齐诊断指标进行具体比较。
来源位置
在四种经过测试的环境中,ICL 优于单独使用的其他方法,GRPO 则提升了每一种经过测试的 ICL 策略
Where Should LLM Agents Adapt at Test Time? In Context, in Weights, or Both
有何变化
论文将尚未解决的比较问题界定为两种适应渠道——在上下文中保留经验,以及更新权重——这两种渠道通常被分开研究,因此各自的贡献及其互补条件尚不清楚。方法上的变化是采用一种先评分、后适应的序贯协议:每项任务都在其结果进入上下文或用于更新权重之前接受评估,因此主要分数衡量的是从任务流中较早任务迁移而来的能力。在此协议下,研究使用匹配的任务流,比较单独使用及组合使用 ICL、GRPO 和 SDPO 的效果。主要评估在四个环境中的 109 项任务上使用 Qwen3.5-9B,每个环境采用五种任务顺序。
研究发现
在权重冻结的情况下,测试中表现最佳的 ICL 策略总体成功率达到 49.4%,而无状态基线为 28.8%。加入 GRPO 后,每一种经过测试的 ICL 策略的总体均值都提高;报告中表现最佳的组合达到 51.6%,而 SDPO 的效果不一。这些结果比较的是完整的适应流程,而非在计算量相同或经验预算完全相同条件下的比较,因此不应将其解读为对 GRPO 和 SDPO 目标函数的单独排名。
行为线索,而非机制解释
作者报告称,在若干环境中,ICL 与较少的重复环境查询和较短的尝试相关,这与重用保留轨迹中的信息相符。在 BIRD 上,随着使用 ICL,智能体越来越多地在不进行探索性查询的情况下提交答案;论文还报告 ICL 下错误提交更多,但并未证明这是跳过查询导致的。对于 ICL–GRPO 混合方法,查询起初减少,之后则回升并接近冻结基线;报告的轨迹显示,智能体在熟悉环境中减少查询的情况仍得以保留,同时恢复了针对具体任务的检查与验证。这些轨迹观察并不能证明是什么导致了成功率提升。
研究操作
对于新的智能体,一种有用的操作是固定“先评分、后适应”的设置,再以析因方式改变上下文保留方式、更新类型,以及均衡后的经验预算和优化器预算;还可通过干预测试检查和验证是否有助于提升表现。研究范围仍限于一个模型、选定的基准子集、五种任务顺序和特定实现,因此尚未确立更广泛的泛化能力。应将结果视为用于设计此类消融实验的有限范围比较,而非一般性的适应方法排名。
阅读本文以选择下一步消融实验:它提供了一个共同的“先评分、后适应”设置,用于测试上下文保留、权重更新及二者的组合。
来源位置
FlipTest 检验视频世界模型能否追踪物理结果边界
The Flip Test: Video World Models Fail to Learn the World State
Physion 为物理预测提供了另一种基线:其物体接触任务询问两个指定物体是否会在场景稳定下来之前相遇。该基准使用较短的渲染片段,主要预测读出呈现的是最初 1.5 秒。其粒子图模型接收由模拟器导出的物理状态,因此这些结果并非仅依靠视觉。该设置回答的是二元接触预测问题,也支持模态比较;但它本身无法回答图像发生微小变化时,预测是否会在已知的物理边界处翻转。
FlipTest 直接针对这一边界问题进行评估:当对初始帧的微小改动跨越决定结果的边界时,模型预测的未来是否随之变化。其三级设计依次从视觉最小对开始,到检验选择性的同侧匹配对,再到检验模型能否定位边界的密集扫描。该基准包含来自 10 个模拟任务和 15 个真实世界任务的 1,680 帧初始画面。
在报告的评估中,模型对边界的敏感性较差。所有 11 个受评估的视频世界模型都未达标;在真实场景与模拟场景上的平均成对准确率最高为 18.3%,低于 25% 的随机猜测基准。所有模型在模拟成对样本上的表现都低于随机水平。在对明确判定的成对样本进行汇总后,真实场景中有 72% 的样本对、模拟场景中有 89% 的样本对,模型对两帧给出相同预测;当真实结果不同时,这种失败保证至少有一个预测是错误的。在经过测试的模拟扫描中,像素生成模型对边界距离几乎没有响应,而直接的 VLM 预测虽有变化,却相对于真实阈值过早发生转变。
分阶段诊断是最具可迁移性的贡献。提供正确结果后,表现最佳模型的成对准确率从 18.3% 升至 73.7%,支持了作者的诊断:从画面推断相关未来是一个主要瓶颈;剩余错误则表明渲染仍不完善。在这项评估中,显式图像测量的表现要好得多:基于测量的智能体在真实场景成对样本上的准确率达到 93.3%,在各项扫描中的准确率超过 99%。对于新的预测模型,可以借鉴该基准的做法:构造位于边界两侧的样本对、同侧匹配对和密集参数扫描,然后分别测试感知、状态测量、模拟和渲染。
研究范围很重要。FlipTest 研究的是主要由刚性物体构成的场景中,从单个初始帧预测阈值动力学。大多数真实任务帧经过剪辑或摆拍,并非来自有记录的物理结果的初始帧。生成视频的结果也经过评判:在人工标注的 600 个视频样本中,Gemini 3.6 Flash 与人工标签的一致率为 79%。因此,这些发现支持在该基准内开展对边界敏感的评估,而不能据此对所有物理动力学或真实世界视频预测作出普遍结论。
阅读本文,了解一种具体的评估模式:既测试预测是否会在真实边界处翻转,也测试对于不应产生影响的匹配变化,预测是否保持稳定;随后通过测量和结果条件干预,将状态推断与渲染分别考察。