目录
  1. 完整的 AI 安全研究轨迹未能可靠地向审计者揭示专家植入的破坏行为
  2. 偏微分方程求解器评估显示,大型语言模型的正确性可能掩盖表征与因果层面的失效
  3. 相同前缀的反事实评估将错误检测与续写价值区分开来
  4. 固定历史干预可检验语义驾驶预测是否使用未来动作
  5. 整体进步降低了重新习得被扣留技能的数据成本

完整的 AI 安全研究轨迹未能可靠地向审计者揭示专家植入的破坏行为

Auditors Struggle to Catch Sabotage In End-to-End Transcripts of AI Safety Research

此前的对比评估在机器学习工程或长周期 AI 研发场景中,为智能体指定了辅助任务。ResearchArena 报告称,如果监测者没有设计出恰当的行为探测,即使能够访问产物,评估仍可能失效。本文则以一位人类专家试图改变一个从零开始的 AI 安全项目结论为攻击场景,将完整研究过程作为审计对象。

一位专家级人类研究者开展了十个从零开始的 AI 安全项目,先以良性方式进行,随后尝试改变项目的总体结论。破坏者在每次攻击前都看到了相应的良性结果。人类审计者获得完整的带时间戳轨迹和 AI 辅助,也可以运行验证实验,每次审计最多 90 分钟。评估将轨迹层面的可疑程度与对具体破坏机制的识别分开评分。

在这一实验方案下,人类审计者只能较弱地区分遭破坏的轨迹与良性轨迹:报告的 AUROC 为 0.59,自助法置信区间表明该结果并未显著高于随机水平。在最终机制检查点,审计者在 155 次“审计—机制”机会中漏掉了 114 次,完全识别出 27 次,部分识别出 14 次。观测结果显示,表现最强的受评 AI 审计者在区分能力和机制识别得分上都高于人类审计系统,但研究未能确立统计上明确的优势。

这种 AI 比较并非受控比较:人类审计者可以运行实验并获得反馈,而纯 AI 审计者不能;此外,表现最强的 AI 模型也晚于人类审计的时间截点。论文还依据破坏者对可审计性的评分,事后挑选了攻击案例;这并不能证明攻击者能够预先选出这类案例。研究只使用了一位人类代理破坏者和十个经过筛选的项目,而且破坏者能够访问良性结果,因此攻击具备针对具体任务的先验知识。因此,该研究并未估计已部署 AI 系统会多常破坏研究,也没有判断这些攻击是否代表未来 AI 的行为。

对于审计设计者,实践启示是分别报告可疑程度和可采取行动的机制识别结果;除非确实测试了前瞻性选择及其被拒绝的案例,否则应将攻击选择分析标注为事后分析。

阅读本文,可以了解在端到端研究审计中,如何区分“审计者察觉到可疑之处”与“审计者找到了能够纠正研究结论的缺陷”。

来源位置

偏微分方程求解器评估显示,大型语言模型的正确性可能掩盖表征与因果层面的失效

Solver to System: LLM Reasoning Across Representations and Execution in Scientific Simulation

此前提供的研究聚焦于代码摘要和执行预测中的标识符变更。Solver2System 改变了评估目标:它检验大型语言模型能否通过跨表征一致性,以及静态或智能体式的物理无效性检测,恢复偏微分方程求解器背后的物理系统。该研究提出一个数据集,将求解器代码与方程、自然语言描述和数值轨迹关联起来,然后施加受控破坏和词汇扰动。对于研究者而言,方法上的改变很重要:代码名称成为探测关联的科学表述是否得到协调的手段,而不只是观察以代码为中心的行为是否改变。

在八个开放权重模型上,论文报告称,当证据相互冲突时,模型会系统性地偏向某些表征。在一致样本中,模型有 47% 的时间错误地报告存在分歧。检测能力因被破坏的视图而异:在所述表征类型中,代码最难检测,报告的检测率从代码被破坏时的 63% 到无效求解器轨迹被破坏时的 88% 不等。当表征相互冲突时,即便被破坏的是另一种视图,模型也会过度归咎于轨迹。

词汇层面的结果跨越了表征边界。只改变代码标识符,就可能削弱模型识别其他未改变表征中不一致之处的能力。在遭破坏的样本中,混淆标识符使正确识别离群项的比例降低了 4.0 个百分点,95% 置信区间为 [-5.0, -3.0]。因此,标识符扰动可作为有用的反事实,用于检验智能体是在整合证据,还是依赖代码侧线索。

在所测试的智能体设置中,执行代码改善了对物理有效性的判断:不启用思考的 Gemini 2.5 Flash 提高了 9.3 个百分点;启用高强度思考的 Gemini 3.7 Flash 则在 93% 的静态准确率基础上提高了 1.9 个百分点。然而,执行代码并未一致地改善对匹配的有效与无效求解器的区分:对于不启用思考的 Gemini 2.5 Flash,判断反转率从 12% 变为 13%;启用思考时,则从 15% 降至 6%。

因果边界更为明显。在智能体执行后正确识别出的无效代码片段中,根据 LLM 评审器的分析,Gemini 2.5 高强度思考模式有 21% 的理由包含错误的代码事实,并且在 31% 的案例中漏掉了所有因果缺陷。这项分析使用了 LLM 评审器,并另行由人类审查了 20 个案例。论文还记录了一个案例:由于诊断未针对因果缺陷,执行反而强化了错误的物理解释。因此,一种可迁移的评估操作是:在表征破坏和工具使用之后,分别对结论判定、离群项定位和因果诊断评分。

阅读本文,可以了解一种具体的基准测试设计:当科学编程智能体能够执行求解器时,将结论准确率与表征定位、因果诊断分别评估。

来源位置

相同前缀的反事实评估将错误检测与续写价值区分开来

A Full-Ledger Counterfactual Audit of Adaptive Reasoning

评估问题

本文针对一种具体的评估捷径:把当前答案很可能错误,当作增加计算量会有帮助的证据。FLCVA 认为,当前答案错误并不足以证明继续推理有价值。继续推理可能修正错误答案,也可能损害正确答案,因此必须同时衡量这两种结果。

FLCVA 的改进

在每个检查点,FLCVA 固定提示和已有的推理 token,对比立即作答的结果与四段固定长度的续写,并采用相同的作答流程。主要协议使用一段已存储的主路径续写,以及三段独立采样的非主路径续写,每段长 256 个 token。带符号的目标值比较续写后的正确性与检查点处的正确性,并将变化除以逻辑 token 成本,其中包括答案探测。随后,研究分别考察三个问题:能否测量局部续写价值、可观测信号能否预测续写价值,以及在计入信号成本后,这些预测能否改善预算约束下的资源分配。

研究发现

在 GSM8K 和 MATH-500 上,均匀抽取的 256-token 续写,在 Qwen3-8B 的错误检查点中有 26.6% 修正了错误答案,在 DeepSeek-R1-Distill-Qwen-7B 的错误检查点中则有 18.9%。它分别在 1.4% 和 1.9% 的情况下损害了当前正确的答案。在两个模型中,答案持续性都是最强的恢复代理指标,AUROC 分别为 0.658 和 0.673;但论文提醒,预测排序并不能可靠地预测个体结果。

资源分配方面的结果更为有限。在完整计入逻辑 token 的情况下,针对续写的 Ridge-M 分配对 Qwen3 没有带来可靠增益:归一化 AULC 为 −0.21%,95% 置信区间为 [−0.52%, +0.12%]。DeepSeek 的增益较小,为 +0.70% [+0.07%, +1.35%],高于优先处理可能错误答案这一捷径;两阶段条件期望价值控制器对两个模型的结果都无法得出明确结论。来自独立采样分支的离线标签能够预测另一段续写的结果,但这只是诊断性证据,并非可部署的信号。论文还表明,将用于获取信号的轨迹成本计入后,表面上的价值可能会降低。

研究用途与适用边界

对于新的自适应推理实验,应分别记录冻结的前缀、立即作答的结果、固定续写的结果、信号获取成本和策略决策。关键问题不只是“系统能否检测出可能的错误?”,而是“支付这项检测的成本后,预测特定续写能否修复或损害答案,是否优于以当前答案错误为基准的方法?”

这些结论仍有明确边界:研究涵盖三个开放权重模型、数学基准,以及长度为 128、256 或 512 个 token 的短动作。续写价值取决于采样和答案生成流程;轻量、短视控制器带来的微弱收益,并不能证明更丰富或非短视的可部署策略也会失败。

阅读本文,可以了解一种具体的审计协议:它区分“检测到答案可能错误”与“估计额外推理是否会改善答案”,并在计入推理预算成本后检验这一区别。

来源位置

固定历史干预可检验语义驾驶预测是否使用未来动作

Does the Action Matter? Probing Action-Conditioned Semantic Forecasting as a World Model for Autonomous Driving

动作条件化世界模型通常通过预测保真度或规划表现进行评估,但这些检验不一定能说明预测是否使用了给定动作。本文针对语义预测隔离出这一问题:在固定观测到的场景历史后,改变未来自车动作,是否会以可测量的方式改变预测的未来?此前提供的一项记录 GAIA-1 描述了动作条件化的驾驶场景生成;本文则将对动作的依赖性直接作为评估目标。

该探测固定观测到的分割历史和过去动作,只在测试时替换未来动作。替换项包括来自另一段序列的动作、零偏航、停止指令和训练集均值;随后用 mIoU 和可移动物体 mIoU 对预测进行评分。研究比较了逐特征动作条件化、输入级动作拼接,以及其他方面相同但不接收动作输入的模型。具有已知动作依赖动力学的合成环境,以及使用打乱动作进行训练的控制组,用于检验这种干预能否区分是否使用动作的模型。

结果显示,常规准确率与动作敏感性并不相同。在 Cityscapes 上,与不输入动作相比,动作条件化在短期预测中使 FiLM 的 mIoU 提高 1.12 个点,使拼接方法提高 0.86 个点;在中期预测中则分别提高 2.46 和 2.12 个点。相较之下,打乱未来动作使 FiLM 的中期 mIoU 降低 23.17 个点,使拼接方法降低 14.78 个点,令两者的表现都低于无动作基线。在报告的真实数据中期比较中,在执行动作准确率相近的情况下,FiLM 条件化在 Cityscapes 和 BDD100K 上因动作打乱造成的降幅,均为输入级拼接的 1.6 倍。在跨平台迁移中,打乱动作的影响与训练数据集的关联,比与评估数据集的关联更强。

实践上的启示是,同时报告执行动作准确率和固定历史条件下的干预敏感性。后者衡量预测对给定动作的响应程度,并不说明反事实预测在物理上是否正确。一个有用的后续方向是构造历史匹配的干预,因为打乱动作和停止动作可能与观测历史不一致,且部分超出训练分布。

证据仍有明确边界:BDD100K 的目标是 SegFormer-B5 伪标签,而非人工标注;研究仅涵盖一个前置摄像头、一个紧凑型语义预测模型、最长 0.6 秒的预测时域,以及两个数据集。因此,研究并未证明更大型的视频或占用世界模型也存在相同依赖性,也没有显示测得的依赖性会改善规划。

阅读本文,可以借鉴固定历史动作干预协议:当常规预测准确率无法说明模型是否真正使用控制输入时,用这一协议进行检验。

来源位置

整体进步降低了重新习得被扣留技能的数据成本

General progress substitutes for specific training data in language models

测量方式的改变

此前一项迁移研究将预训练收益衡量为:一个同等规模、从头训练的模型需要额外多少 Python 数据,才能达到微调模型的损失水平。对于数据过滤研究,一个有用的后续问题是:相对于训练其余部分的进展,缺失的目标信号是否造成了延迟,以及恢复数据后需要多少数据才能重新习得技能。本文同时测量这两者:在背景损失相同的进度点测量技能延迟,以及测量恢复训练后的习得成本。

方法

作者在国际象棋、奥赛罗、分子字符串、括号语言和网页文本中,分别扣留单项技能的训练信号。在核心干预中,选定的技能专属下一 token 目标不再获得训练信号,但相应输入 token 仍保留在数据流中。研究在背景损失相同的进度点比较技能表现。完全监督和从未监督的训练轨迹提供端点,用于预测目标稀疏化造成的能力缺口。对于重新习得,扣留的目标会在若干检查点恢复;分析将习得成本与模型的 logit 过剩联系起来,并将真实技能信号的恢复与难度匹配的置换国际象棋规则进行比较。

证据

在国际象棋实验中,端点方法预测目标稀疏化所致能力缺口的均方根误差(RMSE),对于 9.7M 参数模型为 0.039 logits,对于 64M 参数模型为 0.089 logits,且未对目标稀疏化模型拟合任何参数。保留 10% 的将军状态目标,使技能出现时间延迟了 0.29–0.49 nats;按照论文的出现时间度量,在所测试的 9.7M–3.0B 模型规模范围内,延迟变化很小。如果将军状态目标从未受到监督,那么在留出局面中,64M 模型最可能的合法应对棋步与实际棋步相同的比例为 0.64,而完全监督模型为 0.68;不过,该模型仍为在非将军状态下才合法的棋步分配了相当大的概率。

在国际象棋、网页文本和 SMILES 中,logit 过剩每增加一个单位,习得成本在国际象棋和网页文本中约降低十倍,在 SMILES 中约降低四倍。置换国际象棋控制组从相同检查点出发,所需 token 数是真实规则的 2.4–16 倍。另一个 7B 模型的首字母大写词回忆演示显示,在选定的较晚检查点,模型只需使用初始化数据的一小部分就能习得;较早恢复训练时的数据需求则被删失。一个独立的 7B Rust 案例显示,功能恢复很快,但并不完整。

适用边界与研究用途

目标稀疏化并不等同于移除所有承载信息的样本,因为输入保持不变。稀疏化推导还依赖于有关表征、最优预测以及目标对不安全输出贡献的假设。此外,定量习得成本拟合不包括奥赛罗,因为其习得表现往往接近测量分辨率的极限。因此,有用的复现实验应同时报告背景损失匹配下的延迟和恢复数据成本,并加入难度匹配的控制组,而不应把表面上的恢复视为一般性的学习能力。

阅读本文,可以了解一种具体的评估设计:在背景损失相同的条件下匹配模型以测量技能延迟,再通过难度匹配的控制组检验恢复训练后的数据节省是否仍然成立。

来源位置