2026.10.21

自适应 VLM 集成可以在简单图像上提前停止，并对更难的图像升级处理。SAGE-CP 指出，用单一保形阈值评估这类系统存在一个具体问题：如果某条路由的占比为 π，那么边际 1−α 覆盖率允许该路由的覆盖率低至 max{0, 1−α/π}；因此，当某条路由满足 π≤α 时，即使整体预测器仍具有边际有效性，该路由的覆盖率也可能为零。

方法。 路由器在开发数据上学习；随后，在最终校准之前，冻结其路由选择、聚合规则、分数和有限路由映射。SAGE-CP 为每条实际运行路由分别计算一个分割保形阈值，主要区分首个来源直接退出与输入升级处理两类路由。在给定开发数据后，若校准样本与测试样本可交换，定理 4 则保证每条正概率路由内的有限样本覆盖率至少为 1−α。

与一般意义上的自适应推理保形预测相比，这是一个范围更窄的贡献。Conformal Cascade 对每个层级的答案集分别校准，只接受单元素集合，否则就延后处理；其无条件界为 Kα，而更紧的 α 保证需要额外满足选择保持条件。SAGE-CP 的目标则是对冻结的 VLM 集成提供路由级预测集覆盖保证。

证据。 在 α=0.10 的匹配比较中，跨越十个数据集和五个对齐划分，边际覆盖率保持在 0.900；平均最差路由覆盖率则从 0.623 升至 0.887，平均路由覆盖率差距从 0.324 降至 0.025。平均预测集大小从 1.893 增至 2.212。与完整的四来源集成相比，SAGE-CP 的来源调用量减少了 70.6%，平均集合大小为 2.212，而对照为 2.486。

更细的路由划分并非没有代价：二元分类体系下的平均最低路由覆盖率为 0.887，四个深度下则降至 0.849；而且四深度设置中的部分阈值会变得空泛。在 50 个划分中的 27 个里，至少一条路由的校准样本少于九个。在给定开发数据后，校准数据与部署数据可交换，是该保证成立的前提；路由条件有效性既不是逐点有效性，也不是类别条件有效性。报告的延迟降幅 58.8%–63.4% 和 GPU 总能耗降幅 55.7%–57.5%，来自单张 RTX A4500 上、所有模型常驻时的批量大小为一的测量。

对于新的自适应预测器，应在最终校准前冻结路由，同时报告边际覆盖率和路由特定覆盖率，并附上路由占比、集合大小和校准样本数；只有在检查样本支持度后，才增加更细的划分。应将稀有路由上返回完整集合的阈值视为校准数据不足的诊断，而非细化路由有用的证据。

ToolRosetta 针对一种具体的集成失效：对步骤级防护器的评估使用整洁的 JSON 工具调用，而部署中的编码智能体通过 execute_bash 和 execute_code 工具行动，其载荷是字符串。论文考察的是：同一动作换一种表示方式后，防护器是否仍会给出相同判定。

方法。 核心干预采用程序化的 Python 和 shell 表示，并进行往返检查，而不是让模型编写转换代码；这样，作者可以在保持原始标签和上下文不变的同时改变动作的表面形式。研究将 TS-Bench 中可表示的 AgentDojo 和 AgentHarm 步骤重新渲染，并另行移除智能体的推理说明。只有在解析后能还原原始工具及其参数时，渲染结果才会被接受，因此测试中改变的是表示形式，而非底层动作。

结果。 在 AgentDojo 上，shell 形式显著提高了四种专用防护器——TS-Guard、AgentDoG、ShieldAgent 和 Safiron——的假阳性率，增幅为 21 至 47 个百分点。反例是 StepGuard：在测试的划分中，shell 渲染对其错误率影响很小。测试中的前沿防护器相对稳定，但并非完全不变；Gemini 在 AgentHarm 上的 shell 形式假阳性率增加了 3.4 个百分点。在评估的 ASB 扩展集上，TS-Guard 也出现了这一效应：shell 渲染使假阳性率增加了 37.8 个百分点。一个不依赖用户请求的对照结果与以下解释相符：当用户请求不可用时，Gemini 会利用智能体的推理说明来恢复意图；但这一对照并不能解释专用防护器的表现。

实际研究中可采用的做法，是在防护器评估中加入保持语义的序列化测试：将每个规范动作渲染为智能体实际使用的 Python 或 shell 接口形式，验证可逆性，并比较不同形式下防护器的工作点。在判定前通过边界解析器还原规范工具调用，可以消除在所测试的可逆渲染中观察到的效应；这是一种针对特定构造的缓解措施，并非已证明能防御任意代码的方案。

证据的适用范围仍有限。测试涵盖虚构的包装器定义、每种形式各一种规范渲染风格，以及保留值但不保留类型的 shell 编码。专用防护器的比较仅纳入五种防护器，其中一种保持稳定，因此论文无法确定究竟是哪种防护器属性导致了差异。托管防护器的结果每种条件只基于一次运行，因此难以据此判断不同运行间的变异情况。

本文剖析了一个具体的归因问题：端到端前瞻带来的收益，可能来自预测的后继状态、解读该状态的评估器，或两者的交互作用。论文将 GUI 世界模型的“决策价值”定义为：相较于直接评估同一批候选动作，利用预测观察结果所带来的增量动作选择改进。在一个固定预测干预中，改变向评估器呈现同一批预测后继状态的方式，会改变报告的前瞻收益。这说明评估器本身也是实验对象的一部分，而不只是中立的测量环节。

实际采用的方法是直接动作排序（DAR）。DAR 根据任务目标、当前界面和动作描述为每个候选动作评分，通过参考动作匹配进行学习，采用列表式组内排序损失加逐点匹配损失；选择动作时不会生成后继屏幕。论文在监督信号匹配的条件下比较 DAR 与加入预测信息的变体，因此，预期的实验差异是加入了预测后继状态，而不是候选集或训练目标不同。

离线实验的关键发现是：直接学习评估器后，预测后继状态没有带来可检测的排序信号。部署结果在操作层面更强，但因果结论的范围更窄：无需重新训练，DAR 就能使三个提议器在 AndroidWorld 上的任务成功率提高 5.8–16.4 个百分点，并优于受测的世界模型前瞻配置。论文明确指出，由于 DAR 与前瞻方法的比较并非匹配比较，因此无法用它测量决策价值。

零样本迁移结果也必须结合其指标来解读：在 MWMBench-KApps 中的 14 个未见过的韩语应用上，所有受测的条件于预测的配置，其参考匹配 AUROC 均低于提议器置信度；而 DAR 对每个提议器都取得了最高 AUROC。这是候选动作排序方面的证据，并非任务成功率证据。

其适用边界是推理时的单步候选动作选择；该研究并未证明其适用于多步规划、策略训练或其他模拟器用途。论文还报告，合并后的 AUROC 与在线成功率可能不一致，因此离线选择器质量不足以作为下游表现的替代指标。一套可复用的实验流程是：固定提议器和候选集，用相同监督信号训练直接评估器和加入预测信息的评估器，然后在固定预测的同时改变评估器。检验后继状态是否会在直接评估器之外改变动作排序，并分别报告排序、执行和迁移结果。

视觉 token 剪枝通常通过汇总任务准确率和保留的 token 数量进行评估。论文指出，这种做法会造成两个盲点：汇总准确率可能掩盖关键视觉 token 是否被选中，而相同的 token 预算也可能因剪枝发生的位置和方式不同而产生不同的端到端成本。因此，论文认为，基于这些代理指标进行比较，可能无法找出不同方法之间全局的性能—效率 Pareto 前沿。

PAA-Bench 是一个可即插即用、面向现有基准的评估框架。它首先只在稠密模型答对的样例上评估保持效果，从而避免“错误变正确”的增益掩盖稠密模型原本答对的样例遭受的损失。随后，Random-Pass@k 对每个此类样例，在 k 个随机掩码试验中统计成功次数；在模型、预算、剪枝位置、符合条件的位置和解码规则均固定的情况下，它衡量的是逐样例反事实敏感度。取 k=10 时，论文报告 Easy（8–10）、Medium（4–7）和 Hard（0–3）三个分层。最后，PCS 在达到共同保持目标的受评配置中报告最大加速比，所用的完整流程运行时间包括 token 选择和聚集开销。

分层的必要性有实证依据：在大多数受评设置下，超过 80% 的样例在 10 次随机剪枝试验中有 8–10 次仍能答对。因此，关注保持效果的评分可能改变结论：在保留 64 个视觉 token 的 LLaVA-1.5 上，CDPruner 的相对汇总准确率高于 SparseVLM（96.9 对 88.1），但 W-Avg 更低（89.3 对 93.3）。在所报告的设置中，对于更不可能在随机剪枝后保持正确的样例，选择器之间的差异会扩大；按难度分层报告，可以揭示被实际样例构成所掩盖的差别。

运行时间结果还带来另一项警示：更高的 token 压缩率不一定带来更高的实际加速比。在 LLaVA-1.5/MMBench-EN 上，保持率为 95% 时，SparseVLM 比 DivPrune 更快（1.74× 对 1.53×）；而保持率为 90% 时，DivPrune 更快（1.95× 对 1.83×）。开展新的剪枝研究时，应报告稠密模型答对样例的保持情况、Random-Pass 分层和实测 PCS 工作点，而不是只给出一组准确率与 token 数量。应将 Easy、Medium 和 Hard 视为特定干预下的分层，而非普遍适用的问题难度；还要注意，PCS 选出的是测量过的最佳配置，而非穷尽连续前沿。运行时间表涵盖三个主要骨干模型和四项任务；补充模型配置没有运行时间测量。

长上下文稀疏注意力存在一个具体的可靠性缺口：现有方法无法控制查询误差，而且真实 KV 缓存上的误差具有厚尾分布。

通过扰动检索实现认证稀疏注意力同时改变估计器和停止规则。它对每个键分数加入独立的 Exp(1) 扰动；随后，阈值检索会按键的注意力权重成比例地抽样。重要键会被精确保留，而较轻键的样本则用于构造 Horvitz–Thompson 估计。沿几何网格逐步降低阈值会生成嵌套样本；同时置信界使每个注意力头都能在证书达到目标误差的第一个层级停止。关键的方法改进是：停止过程可以依赖观察到的样本，同时不使所陈述的界失效。

在合适的阈值下，对于值尺度误差，估计器读取的值数量为 ε⁻² log(1/δ) 量级，与上下文长度和注意力分布熵无关。输出范数误差还取决于抵消因子。这是一个关于预知阈值的结果：实际中，自适应规则读取的键数是知道真实误差的预言机的 2.7–4.9 倍。

在所述计量口径下，算子级结果表现突出。在键读取量匹配时，所提估计器的第 90 百分位误差比 15 个基线系列中符合条件的最佳配置低 4.6–7.9 倍。在报告的 120 个配置中，作者没有观察到证书违例，也没有回退到精确注意力的情况。但在字节数相同的条件下，最佳基线的第 90 百分位误差为所提方法的 0.6–1.6 倍，且其最大误差至少是所提方法的 4.9 倍。在 CPU 上，对于 32K–128K 个 token 的完整解码步骤，该方法比作者在同一 16-bit 缓存上使用的稠密内核快 1.1–1.4×。

核心边界在于架构：确定性候选生成仍然会扫描每个键，而论文指出，如何实现经过认证的次线性候选生成仍是开放问题。报告的速度比较仅针对 CPU；基线比较依据读取的字节数，而非运行时间，因此这些结果并不能证明该方法在优化 GPU 或内核匹配条件下具有优势。证书适用于符合条件的注意力输出，并不保证模型行为保持不变；闭环生成要求在每个解码步骤都重新进行扰动，固定扰动不在所述保证范围内。

一个有用的复现实验问题是：用近似候选生成器取代全量扫描后，证书在成本上是否仍然划算。保持 ε 和 δ 不变，然后分别报告证书违例、值读取量、总字节数和运行时间。