2026-11-16

2026-11-16

IntentTwin 将离线网页评估中的条件排序与无目标提议区分开来

IntentTwin: Deconfounding Candidate Support and the Oracle-to-Deployment Gap in Offline Web Behavior Prediction

离线网页操作评估可能让候选集在行为能力接受检验之前就泄露答案。IntentTwin 在经过筛选且会话互不重叠的 OPeRA 测试集上审计了这一失效模式:在原始的、以目标为锚点的16候选构造方式下,每条目标为 OOV 的样本都包含一个 OOV 正确动作和15个支持集内负例。在这些样本上,SIR 和仅依据支持集的规则均为1.0000;论文将此诊断为候选集构造带来的捷径,而非成功的行为建模。

方法上的改变是将支持集组成明确设为实验变量。论文定义了支持集可识别率(SIR),使用训练动作词汇表区分 IV 与 OOV 动作,并构造支持集平衡的候选集。在主要的q=4条件下,有四个候选不在支持集内,因此无法在 OOV 样本上仅凭支持状态唯一识别目标。论文还单独评估了一种不依赖目标的双路径提议器:它结合支持集检索与开放词汇 DOM/LM 提议,限定固定的提议预算,并对合并后的候选集重新排序。提议召回率、已覆盖样本上的条件准确率和端到端准确率分别采用不同分母报告。

OPeRA 上最关键的比较是条件排序与不依赖目标的提议。采用支持集平衡后,SIR 降至0.0000,而条件重排序器的 OOV Exact@1 为0.5668,整体为0.7214,IV 为0.7988。不依赖目标的双路径方法达到0.6915的 Proposal Recall@16,端到端 Exact@1 为0.5212,其中 OOV 为0.4562;与 oracle 条件 Exact@1 的0.7450相比,同一数据划分上的差距为0.2238。在 Mind2Web 官方跨域划分上,审计报告的 SIR 为0.2924,oracle 到端到端的差距为0.2295;这些仍然是离线候选覆盖率与排序的测量结果。

对于评估研究,可复用的做法是同时公布条件排序和不依赖目标的提议结果,然后改变支持集组成,再判断准确率是否代表行为能力。精确键值 OOV 应继续作为词汇层面的支持度指标,而不应直接被标记为语义新颖性:在一项200行的审计中,0.7150被判为语义新颖,0.2450属于定位符/字符串变化,0.0400则有歧义。这项审计是抽样结果,而非完整测试集估计。最后,主要的 OPeRA 结果并未证明对未见用户的迁移能力,因为不同划分中会出现相同用户。

阅读本文,了解如何检验离线智能体的候选集是否泄露答案,以及如何将提议覆盖率与条件排序准确率分开报告。

abstract; Section 4.2, S4.SS2.p1; Table 1, S4.T1; Section 4.2, Table 1, S4.T1.2.7; Section 4.4, Table 3, S4.T3.2.1.7; proposal contract in Appendix A.2, A1.SS2; Section 4.6, Table 5, S4.T5.2.1.4; Section 4.7, Table 6, S4.T6.2.2; Section 4.7, S4.SS7.p1; Section 4.7, S4.SS7.p2; Section 3.3, S3.SS3.p1; Section 4.11, S4.SS11.p1

在线方程检查在 ASyMOB 上提升准确率,token 数增加6–7%

Catch It Where It Happens: Real Time Error Correction During LLM Reasoning

作者介绍的现有防护措施,要么只检查最终答案,然后从头重新开始;要么依赖会争用 GPU 容量、拖慢响应速度的验证器 LLM。论文改变了干预时机:在自由形式生成过程中,由模型之外的检查器异步核验方程,并且只在检查失败时介入。

系统从 token 流中提取已完成的方程,并将链式等式拆分为成对命题。计算机代数系统通过数值方式比较等式两侧;对于含自由符号的表达式,还会进行抽样代入。模型在 GPU 上生成时,检查器在 CPU 上运行。若检查失败,系统就回退到出错步骤,并在恢复生成前提供纠正反馈。只有数值检查失败才会触发干预;遇到暂缓、无法评估或超时的情况,生成会不受干扰地继续。

报告的评估使用了2,700道难度从简单到中等的 ASyMOB 题目、三个开放权重模型,并在普通生成和检查生成两种设置下对每道题重复五次。所有模型在检查生成下的平均准确率都提高了:分别从62.4%升至68.0%、从23.4%升至24.8%,以及从45.2%升至48.2%。报告的提升幅度为1.4–5.6个百分点,同时每个答案的平均 token 数增加了6–7%。作者认为,提升主要集中在基线表现不稳定的题目上,而不是模型持续失败或持续成功的题目。

对此解读需要谨慎:被标记组之间的比较并非基于匹配轨迹的因果比较,因为检查生成与普通生成中的组别成员可能不同。论文报告每次检查需要约22–25 ms 的 CPU 时间,但没有确定其对整体服务延迟的影响。

检查通过意味着在已执行的检查下数值一致,并不构成形式化证明。因此,局部恒等式检查并不能证明某一步符合题目的假设,也不能证明整体求解策略有效。评估仅涵盖一个基准和来自两个模型家族的三个模型,因此该方法在显式数学运算以外是否普遍适用,尚未得到展示。对于新领域,可行的研究做法是找出一个局部不变量,测量它被提取出来的频率,以及检查失败后成功修复的频率;然后将 token 开销与受控条件下的实际运行时间延迟分开报告。核心问题是:该不变量能否及早发现错误,同时又不被误当作对前提或策略的验证。

本文展示了一种具体的测试时设计模式:在生成期间提取可在局部核验的命题,只修复检测到的失败,并将检查器覆盖率和服务成本与最终准确率分开评估。

abstract; §3, paragraph 1; §3.2, paragraph 2; §4, paragraph 1; Table 1; §4, paragraphs 4–5; Figure 4; §4, paragraph 3; §5, paragraph 2; Table 1; §3, paragraph 2; §5, paragraph 8

动作梯度审计与反馈控制律锚点构成基于模型的流量控制工作流程

Audited Gradients, Anchored Policies: Model-Based Reinforcement Learning for Efficient Flow Control

前向预测不等于可用于控制的导数。论文从一个具体失效模式出发:策略优化会利用目标函数对动作的导数,但代理模型可能跟踪流动轨迹,却错误估计该导数。一个代理模型预测目标值的相关系数达到0.9996,但其动作梯度相关系数仅为0.459,因此前向精度并不能证明代理模型可用。

论文提出的工作流程会审计策略优化实际要利用的量。每次审计前,先固定采样状态、参考动作、滚动时域、扰动幅度和验收阈值。在留出状态上,将代理模型通过自动微分得到的动作梯度,与高保真求解器给出的中心有限差分估计进行比较。默认标准包括合并相关系数、符号一致率和各执行器相关系数的中位数;所有适用标准都必须通过。通过审计的代理模型提供梯度场。若审计失败,则使用实测梯度,除非替代代理模型通过新一轮审计。随后,研究者将一个低维反馈控制律拟合到可信梯度场,用它初始化神经策略,并在策略优化期间将其保留为二次锚点。

实验表明,审计和锚点是彼此独立的两道保障。对于旋转圆柱,代理模型梯度与配对求解器测量值的相关系数为0.996;然而,从与拟合控制律无关的初始化出发、不使用锚点进行逐路径优化,目标值平均恶化了0.52%。采用控制律初始化并使用锚点的策略则实现了3.33%的下降;这一比较无法区分初始化与锚点各自的作用。在受迫湍流中,代理模型未通过三项审计标准中的任何一项,但基于实测梯度的分支实现了82.01%的涡量平方积分下降,相比之下,PPO在所报告的随机种子均值上为30.63%;同时,代理模型仅用于受到严格约束的残差项。

在四个测试案例中,完整的审计流程使用的高保真求解器交互次数少于一次无模型运行,报告的比率从3到156不等。这些比率有特定适用范围:受迫湍流的计数不包括用于拟合其代理模型的高保真状态转移,其他案例也各有其核算范围。

可迁移的研究做法是:在留出状态上、并围绕优化器可能采用的动作审计导数,然后在策略分布发生变化后重新审计。应将通过审计视为局部结论,而非控制器保证:研究报告称,一个代理模型在某个固定动作上通过审计,却在已部署动作附近审计失败;其阈值与训练后控制器性能之间也没有理论联系。一个值得追问的问题是,如何在记录代理模型数据收集完整成本的同时,调整审计覆盖范围。

将本文视为可微分模拟器可靠性的一项具体案例研究:它把准确预测与有用优化梯度之间的区别,转化为留出测试、回退机制和策略层保障,同时记录这些保障仍然局部适用或成本核算不完整的地方。

abstract; Section 3.1, paragraphs 1–3; Section 3.3, paragraphs 5–8; Section 4.1, paragraph 5; Appendix F, Section F.1; Section 4.3, paragraphs 3–6; Appendix H, paragraphs 1–2; Section 4.5, paragraphs 1–4; Appendix K, Table 10; Section 3.1, paragraph 3; Section 3.2, paragraph 3; Appendix I, Table 7; Section 4.5, paragraph 3

CLADE 发现,类别层级证据可减少弃答,却会增加 RAG 中的错误答案

CLADE: Category-Level Answering from Deficient Evidence in Retrieval-Augmented Language Models

CLADE 指出了检索增强问答中的第三种证据状态。它将准确且相关、但只提及更宽泛类别而未提及所问实体的文本称为“可解析的信息不足”:该类别可以映射到一个简短的候选列表,但仅凭文本无法确定精确答案。当模型读到这些粗粒度段落时,会表现出 Clade 现象——选择作答,而不是弃答或继续搜索。这种失效模式比一般的上下文信息不足更狭义。

SURE-RAG 的核心设计是将局部的“主张—段落”关系分布汇总为答案层面的充分性判断,而不是依赖对段落分数取最大值或均值的池化方式。CLADE 则关注证据相关但仅达到类别层级时会发生什么,以及本体能否支持移交处理。区分这两者,可以避免将本文误认为是选择性作答的一般解决方案。

在生物医学 PrimeKG 问题上,作者使用带有明确弃答选项的选择题,对比了仅含家族信息的页面与不含相关信息的页面。同一问题的反事实实验保留父类别名称或删除证据句,同时固定问题、选项和模型。作者还测试了置信度过滤、模型规模扩大和弃答指令,随后又在 GloBI 生态学问题上重复了仅含家族信息页面的比较。

在汇总的 PrimeKG 结果中,与不含相关信息的页面相比,仅含家族信息的页面使弃答率降低了13.8个百分点,但因此增加的作答也伴随着错误答案显著增加。在反事实编辑中,与删除证据句相比,保留父类别名称使弃答率降低17.4个百分点,并使错误答案增加5.1个百分点。GloBI 的结果方向相同:家族层级证据减少弃答,且主要增加了错误答案。测试过的防护措施未能清晰区分缺乏支持的家族层级猜测与有依据的答案。

本体实验将覆盖率与答案恢复分开考察。在已知正确家族的条件下,扩展其 MONDO 后代类群后,候选列表在98.5%的案例中包含抽样答案——这是一个以 oracle 条件为前提的结果。使用从页面提取的家族时,提示式选择比简单规则提高了候选列表覆盖率,但论文报告其上限为50%,因为有一半事实的可用选项中不包含正确家族。即使已知家族,疾病流行度先验的表现仍优于测试过的模型和关系特定证据选择器,因此最终答案选择问题仍未解决。

对于 RAG 设计者,可迁移的做法是分别记录三个关口:检测类别层级的信息不足、识别相关家族,以及选出精确候选。第一道关口应转交给本体,或请求更多证据;但不能把本体候选列表覆盖率当作端到端答案恢复率。

主要弃答结果来自带有明确弃答选项的构造式选择题;一项120题的自由文本检查在方向上与之吻合,但并未消除题型限制。本体恢复仅在 PrimeKG 上评估;规模比较仅限于最大14B的 Qwen2.5,以及其他7–8B的开放模型。基于页面的本体抽取容易受到措辞和匹配失败的影响。

阅读本文,了解 RAG 设计中的一个具体边界:同一条父类别证据既可能让模型不再谨慎作答,也可能用于触发本体移交;但家族识别和精确候选选择必须作为不同的可靠性阶段分别评估。

abstract · §I, paragraph 3; §IV-A–B; Table I

智能体评估器在写入边界上意见不一

When Evaluators of AI Agents Disagree: An Empirical Study of Native Scoring, LLM Judges, and Commit-Boundary Checks on tau2-bench

论文从一个具体的评估假设出发:基准测试将最终状态与标准答案比较,而已部署的服务可能没有标准状态,转而让 LLM 阅读对话记录;实际做法往往把这两种评估路径视为可以互换。论文通过区分任务正确性、策略合规性,以及是否应该发生数据库写入,检验了这一假设。

作者在 tau2-bench 的航空和零售领域运行了 2,160 个回合,并记录每次数据库写入。每个回合得到四项评分:原生标准状态评分;基于对话记录的 LLM 评判;向该评判提供策略文档后的评分;以及只检查预期写入是否发生的最简边界评估。两名标注员独立标注了一个分层抽样的 120 个回合样本,评估任务正确性、策略合规性和提交正确性。这将测量问题从“智能体是否完成任务?”转变为“这个评估器测量的是哪种属性?”

评判器的重复性很高——自我一致率为 98.2%——但仅在 56.2% 的回合中与原生评分一致,因此重复性并不意味着与基于结果的基准判定一致。在经人工确认的 11 个过早提交回合中,主要的 gpt-4.1-mini 评判器配置有 10 个或 11 个判为通过;提供策略文档或移除输入截断,都没有可靠地解决漏检。一个测试过的更强评判器仍放过了 6 个,而边界评估器发现了全部 11 个。在人工标注结果上,就报告的任务正确性和提交正确性比较而言,没有评判器显著优于这一最简检查;这并不证明两者等效。

对防护门控实验也需要审慎解读。关闭门控时,540 个回合中有 60 个发生过早提交(11.1%),但经过 Holm 校正后,测试的累积式门控配置并未显著减少此类情况。轨迹检查发现,在两个经过分析的零售回合中,验证器摘要丢失证据是导致误拒绝的原因:相关的订单状态或身份验证证据被截断。作者没有量化这一缺陷对总体门控结果的影响程度。

研究实践:针对新的工具使用基准,记录每次写入,标注该写入是否符合预期,并取得一小批由独立人员标注的样本,分别评估任务、策略和提交正确性。将每个评估器与其声称要测量的属性进行比较,然后重点检查评分不一致处的轨迹。应将边界检查视为有针对性的工具,而非通用替代方案:它需要针对每项任务标注预期写入,检查的是写入方向,而非写入内容的正确性。策略合规性在此仍未解决:在人工标注的这一维度上,没有自动评估器超过始终合规的基线,而人工标注者在该维度上的一致性相对较难达到。最后,能否迁移仍是开放问题:研究涵盖两个客户服务领域、一个代码仓库提交,以及来自同一模型系列和代际的两个模型;其人工参照也缺乏充分的组织独立性。

阅读本文,了解如何在信任单一评判分数之前,将智能体评估拆分为任务、策略和写入决策标签。

abstract; Section 4.4, Episode generation; Section 4.6, Human reference labels; Section 5.1, Table 4; Section 5.2, paragraph on premature commitments; Section 5.3, Table 6; Section 5.3; Appendix 10.3, paired differences; Section 6.1; Section 6.2, Table 7; Section 6.3, Trace anatomy; Appendix 10.4; Section 3.3, The boundary evaluator; Section 5.2, Table 5 and paragraph on policy compliance; Section 8.3, External validity; Section 8.1, Construct validity