2026-11-13
2026-11-13
受控续接显示，历史记录编辑的效果取决于可执行的世界状态，可能有益也可能有害
Cleaning an Agent’s History Hurts When the World Still Holds the Error
使用工具的智能体可能在历史记录中累积错误，而这些错误的影响仍留存在世界状态中。本文针对一个具体的评估局限：以往工作会在世界状态固定的情况下清理历史记录，此时展示修正后的步骤与声称该步骤已完成是同时发生的。本文考察同样正确的内容，是否会因历史记录的表述方式及世界状态而产生帮助或危害。
作者在任务进行到一半时冻结智能体及其精确世界状态，编辑历史记录或世界状态，再让接收模型继续任务。在 AgentCE-Bench 上，错误值写入持久状态后，作者保持世界状态不变，将正确值添加到历史记录中：一种写法是在保留错误的同时附上一条如实说明；另一种写法则将其表述为智能体已完成的操作，并设置未编辑历史记录和内容匹配的中性说明作为对照。在 AppWorld 上，作者交叉设置回执报告成功或失败，以及数据库效果不存在或存在，由此构造真实和虚假的“记录—世界”配对。
在 AgentCE-Bench 上，与内容匹配的中性说明相比，如实说明使恢复率——接收模型正确完成剩余目标的比例——从 51% 提高到 66%；而将其表述为已完成的操作，则使恢复率低于未编辑历史记录的水平，从 50% 降至 44%。在 AppWorld 上，当数据库效果不存在时，成功回执使整项任务的成功率从 45% 降至 28%；而当效果存在时，则使成功率从 38% 提高到 49%。两个接收模型汇总后的回执效应相差 27 个百分点；在八个接收模型中，有六个的交互效应为正，置信水平为 97.5%，有七个为正时置信水平为 95%。
作者认为，仅仅呈现正确值无法解释 AgentCE 中方向相反的结果；其作用机制仍未厘清。这些对比并未单独识别真实性或传递渠道：说明文字与已完成操作在表面上的作者、位置、原始错误是否可见，以及是否暗示仍有工作待完成等方面也存在差异。AppWorld 回执在内容和真实性上都不同，因此措辞也可能促成这种交互效应。跨模型泛化能力有限，因为 AgentCE 的主要结果使用了两个闭源 API 接收模型，扩展实验中接收模型数量的统计使用了未调整区间，且基于固定模型集合。AgentCE 的 24 步预算在不同实验组中消耗速度不同，不过报告的差距在六步时已经出现。两项预注册分析未按原计划进行。
对于构建记忆、压缩或交接评估的研究者，可迁移的操作是：冻结并恢复一对记录与世界状态，分别干预记录和世界状态，评估下游任务结果，并在不同世界条件下重复对比。这样可以检验表面上的清理结果在可执行状态与记录不一致时是否仍然有用，而不是把干净的转录文本视为成功的充分证据。
值得重点阅读，因为本文提供了一套受控模板，用于检验记录与世界状态不一致时智能体的记忆、压缩和交接：分别干预转录文本与可执行状态，再评估下游任务结果，而不是只看转录文本。
MemCredit 在反事实行动效用信号上训练预算受限的记忆选择器
MemCredit: From Relevance to Utility for Decision-Time Memory in Long-Horizon Web Agents
MemCredit 针对长时程智能体记忆中的一个具体局限：现有方法主要优化存储、检索或压缩，但记忆在语义上相关，并不意味着它能改善下一步行动。因此，本文将记忆选择视为决策效用问题，而不是相关性排序问题。
在离线阶段，该框架通过受控反事实干预，估计每条记忆在给定状态、参考上下文和策略条件下的边际贡献，再将这些效用信号蒸馏为轻量级效用估计器。在推理阶段，相关性用于生成高召回率候选池；在固定 token 预算内，由预测效用进行取舍，不改变底层策略，也不需要额外与环境交互。在线选择器采用贪心策略，并在每次插入后重新计算条件得分，因此它只是近似方法，并不保证选出的子集全局最优。
在报告的 ALFWorld 评估中——使用 134 个未见任务、Qwen3.6-27B-FP8 策略和 500-token 历史记忆预算——MemCredit 的 SR@50 达到 86.57%，BM25 为 65.67%。预算为 750 tokens 时，MemCredit 达到 90.30%，BM25 为 81.34%，因此在较大预算下，报告的优势较小。反事实审计还发现，测得的效用较为稀疏：来自 45 个 ALFWorld 任务的 1,041 次有效干预中，有 86.9% 的测得效用为零。完整估计器优于报告中的仅相关性、仅失败信息和仅内容特征集，但其预测能力仍属中等，报告值为 ρ=0.220、AUPRC=0.270 和 AUROC=0.744。在一项消融实验中，将相关性直接插值到最终取舍中，得到的 SR@50 为 78.36%，比仅按效用排序低 5.97 个百分点。
可迁移到研究中的做法是：收集成对回放，使两者仅在一条候选记忆上不同；根据已选上下文标注效用；并评估学到的选择器能否改善固定预算下的下游决策，而不只是检索指标。解读基准差异时应谨慎：报告的每对 ALFWorld 干预只运行一次，作者报告重复执行时总体成功率的波动最高可达 ±3 个百分点。贪心过程可能漏掉只有联合使用才显现价值的互补记忆；此外，WebShop 使用的是 10K 个商品的子集，其得分不能直接与完整商品目录的结果相比。
阅读本文，可以了解如何将记忆排序转化为成对回放的标注流程；同时也能看到，效用稀疏、预测不完美和运行波动意味着需要比单看相关性得分更有力的诊断方法。
因此，仅凭准确率提升并不能证明推理能力从特权解答中迁移而来
OPSD 让学生模型学习教师模型的下一 token 预测目标；教师是学生模型的冻结副本，此外还会接收学生看不到的特权信息，例如完整解题过程。无需参考解的跨模式自蒸馏使 Qwen3-1.7B 在域内和外部基准上都优于其冻结基座模型，因此，仅仅超过基座模型并不能说明特权信息带来了额外价值。
本文提出一项四阶段审计：Source 检验教师能否利用解答；Encoding 检验教师的 token 目标是否有用；Transmission 检验学生是否从这些目标中学习；Expression 检验学生能否在没有解答时应用所学行为。为单独识别解答的贡献，研究分别改变解答是否可用，以及教师和学生的思考模式。Source 审计将解题能力与错误识别能力区分开来：在经审计的难题上，完整解题过程使冻结教师具备很强的针对具体问题的解题能力，但它虽能帮助教师解题和纠错，却不能可靠地使教师识别出学生推理出错之处。在 Encoding 阶段，教师目标发生可测量的变化，本身并不能证明变化后的信号会优先支持正确推理。
在匹配的 Qwen3 评估中，采用 Thinking-OFF 评估时，仅提供题目的教师分别在 1.7B、4B 和 8B 规模上超过提供特权解答的教师 1.36、15.21 和 8.60 个百分点；1.7B 的区间包含零。最显著的基准提升与教师的思考模式关联得比与完整解题过程的获取更明显，作者将其称为 reasoning arbitrage（推理套利）。在经审计的短期学习测试中，重复进行 OPSD 并未使先前无法成功作答的 Thinking-OFF 题目变得可可靠解答，尽管在 Thinking ON 下这些题目往往可以解出。按目标负对数似然（NLL）衡量，学会预测经验证的修正，并未可靠地转化为在生成时不依赖特权支持而使用这些修正。
这些结果并非一概否定解答的作用。Purified OPSD 表明，改变目标构造后，以解答为条件的监督可以提高留出集准确率；这项审计并不意味着特权信息永远没有用。主要训练比较仅使用三个随机种子，因此区间只是描述性结果，对运行间不确定性的证据有限。严格的学习获取测试范围较窄、更新次数也少；所提出的推理套利机制仍未解决。本文将这些实验称为证伪测试，而不是联合方法排行榜。
对于新的特权上下文实验，我会固定教师模式、学生 rollout 模式、题目集合、训练安排和随机种子；比较使用特权信息的教师与仅提供题目的教师；在部署模式下评估；然后分别测量目标正确性、基座模型未能解答的问题上的学习获取，以及无辅助条件下的表达能力。这样的设计可以检验增益是否由隐藏上下文造成，而不只是与之同时出现。
阅读本文，可以借鉴一套可复用的因果审计设计：它将表面上的教师优势拆解为可分别检验的环节，并设置匹配的仅题目和思考模式对照。
abstract; Section 6.2, paragraph 2; Appendix C, Table C3; Section 1, paragraph 2 · §3.1; Table 1, Reference-free row · Section 3.2, Teacher and student policies; On-policy sampling from the student; Section 4.1
PREWARN 在固定错误预算下区分故障检测与故障发生前预警
Detection Is Not Early Warning: Evaluating Token-Level Alarms on Language Model Failures
响应级 AUROC 可能会奖励监测器区分已发生故障的响应与健康响应，却忽略警报何时触发。在本文的案例研究中，仅读取响应长度的规则就取得近乎完美的得分，因此，已完成响应上的高分并不能证明该监测器能提供实用的预警。
PREWARN 改变了评估目标：它在验证数据上校准每个监测器的阈值，使其符合预先选定的应用错误预算，然后分别评估响应分类、故障起始后的检测，以及相对于标注起始点的故障前预警。因此，该协议明确提出部署时的问题：健康响应中可以接受多少误报？首次警报有多大概率会在故障发生前到达？
该案例研究将此协议用于三个开放语言模型中的重复退化现象，并采用线性激活探针和六种未经训练的基线。在域内评估中，健康响应上的误报预算为 5%，标签经人工核验；模型为指令微调的 8B/7B 系统，采样温度为 0.7，top-p 为 0.9。
在这些条件下，对于 Apertus 和 Llama，冻结和适配后的探针都能在检测到的循环输出中，对大多数发出故障前警报；首次警报的提前量中位数为 137–232 tokens。相比之下，尽管 Mistral 的检测率为 0.99，探针对它的表现仍主要是检测而非预警。秩为 16 的 LoRA 适配提高了三个模型中被标记的 256-token 预警窗口比例，但新增覆盖中有相当一部分来自远早于故障起始的警报，而不是首次警报发生在故障前的比例大幅上升。六种未经训练的基线所提供的故障前首次警报并未显著多于随机水平，即使其中一些基线覆盖了预警窗口的相当部分。
可迁移到研究中的做法是：在预先声明的错误预算下报告警报时序，而不是仅依据 AUROC 选择监测器；并分别比较首次警报提前量、检测率和预警窗口覆盖率。
应注意，评估边界对测量方式敏感。提前量取决于故障起始点的定义：本文将起始点设为第一个循环片段的首个 token，此时重复现象尚不可见；若把起始点设得更晚，警报就会显得更早。对于 Apertus 和 Llama，故障起始通常发生在健康响应结束之后，因此响应位置或长度可能部分解释警报；作者并未证明所有故障前信号都专属于退化现象。标签和起始点修正经过人工审核，但每个响应只有一名审核者，因此审核者间一致性未知；在留出来源上，Llama 和 Mistral 的冻结探针早期预警率降至 0.20 和 0.12，而留出集中只有 24 个退化的 Apertus 示例。因此，就本文而言，探针的高检测率本身并不能证明其能够在故障发生前预警。
如果你正在构建流式防护机制，值得阅读本文：它将 token 得分转化为明确的警报策略，并检验警报是否早于标注的故障点到达。
任意时点有效的上界让开发者能在未见故障风险较低时停止测试
Controlling the Probability of Unknown Unknowns in Pre-Deployment Testing of AI Systems
本文将部署问题收窄为一个可测量的目标：下一个输出包含尚未观察到的故障模式的概率。作者将其视为序贯缺失质量问题，而非对系统整体安全性的断言。开发者往往能够修复已知故障；尚待决定的是，继续测试是否值得付出成本，还是仍有未见故障。
方法上的改变是为这一概率构造可随时检视的上置信序列。本文将其与经过多重检验校正的 Good–Turing 基线，以及不具备任意时点有效性的固定时域 Good–Turing 上置信界进行比较。在每一轮中，算法 1 都会混合从不同观测时点开始的投注过程，并对投注规模进行混合。这些重启过程提供不同的预热期，而缓慢递减的权重则限制较晚开始的代价。由此得到的界可以反复检视；当它低于预先选择的阈值时，可以停止测试，且不会使保证失效。
理论给出了一项有条件的停止时刻结果：当真实缺失质量低于目标阈值达到固定幅度后，所提方法以高概率在相对于该越界时刻的对数级延迟内停止。若缺失质量只略低于阈值，方法并不保证延迟始终很小；本文证明，在这种情况下，有效程序一般无法保证期望延迟始终有限。
在所述的 SWE-Chat 模拟中，所提上界的观测同时覆盖率在 3,000 次抽样内一直高于其名义 95% 水平。实验使用 1,000 次试验、包含 4,961 个会话的经验总体，以及固定的 538 类故障分类体系。本文报告，所提方法给出的上界比经过多重检验校正的 Good–Turing 基线更紧，甚至也比不具备任意时点有效性的固定时域比较方法更紧。
两项扩展旨在提升评估的现实性：当目标任务分布不同于抽样分布，且目标分布与抽样分布的似然比已知并有界时，逆倾向加权可以处理这种差异；标签错误扩展则要求明确的审计和新颖性条件。适用边界十分重要：本文明确指出，该框架不考虑故障代价，其收敛论证依赖可数输出空间。SWE-Chat 设置还使用公开轨迹、LLM 判断和固定分类体系；作者指出，这与开发者私下执行的测试有所不同。对于研究工作流程，应在信任停止决策之前，先定义故障分类体系、目标分布、新颖性规则和审计策略；随后还应判断，未见故障概率是否适合衡量罕见但影响重大的故障。
阅读本文，可以了解重启与投注混合如何使反复检查在统计上有效，并明确使用停止规则前必须满足哪些关于故障、分布偏移和标签的假设。