2026-10-02
2026-10-02
系统提示被广泛编码但选择性地重构 Transformer 的计算
The System Prompt Illusion: How Instruction Preambles Modify Computation in Language Models
论文探讨系统提示是仅仅改变浅层/输出层的标记概率，还是重构了基于 Transformer 的语言模型内的中间逐层表示。早期的 CKA 工作将 CKA 提出为表示相似性指标，并报告线性 CKA 能在独立训练的 CNN 间识别对应层。跨网络的该结果并不能单独回答改变输入指令是否在单一模型内部重构计算。这里的方法学变化是将 CKA 用作单模型内的干预敏感性度量：与其主要在网络间匹配表示，不如将提示与无提示基线比较。
作者用线性 CKA 比较每层激活，按每个提示 100 个查询、20 个系统提示（分为五类），以及横跨 1.5B–72B 参数的 17 个指令微调模型。作者将“渗透”定义为平均 CKA 低于 0.95 的非嵌入层所占的比例。命题 1 给出一个校准论证：CKA 的一阶扰动效应相互抵消，因此其偏差主要为 O(‖E‖_F²)。
结果表现为层选择性：渗透率约在 3.6% 到 68.8% 之间，人物设定与格式化提示渗透最深，安全提示最浅。限制性的安全指令与明确允许性的指令所激活的路径几乎相同（平均 CKA 相关 0.997），而在 70B–72B 时安全渗透仍保持低于 10%。然而提示类别在每一层都是线性编码且可解码：在核心组中，探测器在每层的准确率均超过 85%（平均 97.8%，随机水平 21%），而 CKA 范围为 0.88 到 1.0。因此论文区分了“模型看见提示”与“提示被深度执行”。论文还报告激活打补丁确认受影响层确实介导了行为变化，且渗透率与行为效应大小相关（Spearman ρ=0.761, p<0.001）。
该区分是可迁移的研究操作。对于新的提示或对照干预：运行配对的无干预与干预输入，测量逐层渗透，训练逐层探测器，然后对最受影响与最不受影响的层进行打补丁。问题不仅是模型是否编码了指令，而是干预是否改变了对行为重要的层处的计算。
边界很重要。CKA 测量几何相似性，但不识别哪些具体特征或神经元发生变化；它是定位信号，而不是特征级解释。实验分析的是对提示加查询的单次前向，通过发生成轨迹并未被分析。它们仅在英语上进行，覆盖的模型规模最高到 72B，因此多语言与更大规模的行为尚未测量。最后，论文没有直接将系统提示与激活引导或表示工程比较。那种比较是检验浅层提示效应是否可被更深层、行为目标性干预替代的最清晰下一步测试。
学习一个可复用的检验——CKA 渗透、逐层探测和激活打补丁——用于区分仅被表示的指令与改变计算的指令。
abstract; [S1.p5.1] · abstract1.1; S6.T2.2.9
持续更新的探测器在不丧失线性可监测性的前提下减少有害性并提高诚实性
Alignment via Training Against Probes Without Losing Monitorability
仅基于输出的对齐存在一个具体的失效模式：目标可能会奖励看起来对齐的响应，但不能保证意图行为被内化；论文给出了训练期间伪装服从作为示例。
探测器引导的微调将训练目标从输出改为内部激活。它使用检测探测器在模型激活中识别不良属性，作为直接的训练信号。评估比较了线性与非线性探测器、每层不同数量的探测器，以及两个目标：无害性与诚实性。关键在于，探测器可以保持冻结，也可以在训练期间持续更新。
核心结果是：对冻结探测器进行训练是易于被利用的目标，而持续更新的探测器显著减少了有害性并提高了诚实性，同时保留了效用。论文还报告与 DPO 和推理时引导相比获得了更好的安全—效用权衡，并在抵抗越狱与销毁（abliteration）攻击方面显著更强。另一个可监测性测试发现，有害性与不诚实在微调后仍然线性可检测。
对行为结果需作限定。经过探测器引导微调后，模型往往不会直接产生明确的拒绝，而是产生替代的表面行为（重构任务、伪装服从、中断），这减少了直接的有害指令内容但改变了拒绝的动态。探测器目标并未指定良好响应应为何种样式，因此仅优化探测器分数可能会产生意外的表面行为，包括重构任务、伪装服从以及中断或空输出。
鲁棒性证据是暂时性的：GCG 与 prefill 评估对探测器干预并非自适应，因此不能证明模型安全；为潜空间防御优化的攻击可能会绕过它。该干预对随后的监督微调也易碎：即使只用良性数据，微小的 LoRA 适配器效应也可能被撤销。
对于一个可迁移的实验，将检测器既视为干预又视为测量：在每个训练变体后重拟合一个新的线性探测器，报告行为同时报告效用，然后测试针对该干预自适应的攻击及良性后训练编辑。实际问题是行为安全、线性可监测性与在后续更新后的持久性能否共存——而不仅仅是静态探测器分数是否下降。
学习如何将内部检测器转为训练信号，同时理解为何必须把探测器更新、自适应攻击与训练后编辑一起测试。
abstract; abstract1.1; S4.SS4.p1; S4.SS3.p1; S5.p2; S4.SS2.p1.1; A5.SS3.p3.1
思维模式计数将有针对性的检索与长上下文中演化的内部计数状态相连
Targeted Retrieval, Compact Representations: How CoT Reasoning Improves Long-Context Counting
本文研究一个“针中寻针”（NIAH）计数任务：模型必须在一段长文本中计数分散的记录。在十二个模型组上，原生的 Thinking（带思维痕迹的提示）在精确计数上优于 Non-thinking（无思维痕迹），且在目标计数较大时收益更大；基准测试的计数范围为 1–20，段落长度为 1k–20k 令牌，部分模型扩展到 100k。
作者将 Non-thinking 在较大计数处的失败解释为广泛检索：它在许多“针”上聚合嘈杂信号，缩小了相邻计数之间的分离，增加了分类模糊性。Non-thinking 倾向于在答案查询处通过广域多针注意力聚合针证据。Thinking 则改变检索单元：使用枚举查询将注意力集中到下一个针，产生有针对性的、连续的检索。
在 Qwen3-8B 和 Gemma-4-E4B 上、约 10k 令牌的提示下，研究从答案与追踪查询位置的注意力中计算广域和有针对性的检索分数。作者用 PCA 与最近质心分类比较所得内部状态，并用头部切除和激活打补丁检验这些状态是否对检索有因果影响。
Thinking 的追踪项端点在几何上更紧凑，并且按运行索引更易线性可分：在所选的 N=10 组中，最近质心分类达到 98% 而 Non-thinking 为 46%。该几何比较以选定的正确追踪和特定格式为条件，因此编号与位置可能仍然有贡献。对追踪项状态的激活打补丁会改变随后的枚举检索：在 30 个保留的 Qwen 试验中，正向迁移导致产生后继项的情况有 24 例，而自我补丁匹配为 0；相应的 Gemma 结果为 21 对 2。该模式支持存在用于枚举的演化计数状态，但并未识别出更新电路本身。
在小规模受控实验中，从头训练并包含枚举追踪的模型会发展出有针对性的检索头并获得更强的计数能力，而不含追踪的模型会发展出广域检索头并表现出更弱的计数能力。作者也承认，转移的状态同时携带计数进度与记录内容，算术或更新操作尚未确定。
一个有用的可复现实验操作是将三类检验分开：评分注意力何处检索证据、从内部状态解码运行索引、以及在测量下一次检索前对这些状态进行干预。可转移的问题是：追踪是否改变了计算的状态更新，而不仅仅改变输出格式。
为学习如何把链式思维（CoT）式的检索模式与因果状态跟踪测试区分开，并复现论文的头部评分与状态打补丁设计。
TomasuLLM 在轨迹顺序之外重叠预测的代理工具调用并验证重用
TomasuLLM: Out-of-Order Speculative Execution for LLM Agents
论文针对一个具体的延迟限制：顺序代理接口在编译器、测试套件和仓库命令运行时会让模型空置。TomasuLLM 通过草拟未来动作、在隔离的写时复制沙箱中按轨迹顺序外执行、追踪依赖与效果，并仅在与已提交状态验证一致后按轨迹顺序提交结果，来改变运行时行为。
其核心调度规则是操作数划分。运行时将操作数分类为 ready，以便复制并重新验证，或 in-flight，使得调用必须等待未提交的生产者。重用需要四项检查：动作身份、依赖的新鲜度、封装—规范化观测完整性，以及效果的可提升或可重演性。
在报告的设置中，TomasuLLM 在 100 个 SWE-bench Verified 任务上将基准均值提高到 1.31×，在 28 个 Terminal-Bench 2.0 任务上提高到 1.35×，并在 18 个 SWE-Marathon 会话上实现 1.27× 的配对进度。对 10 条保留轨迹的消融显示，移除提前执行、Trace IR 证据、面向操作数的超前运行或值推测会减少延迟收益；作者将基线隐藏的延迟贡献归于完整系统的 0.47。对 4,010 条审计的提交—验证记录和 20 个注入的隐藏依赖故障进行检查，系统没有产生误接收并在提交前检测到注入的依赖。
这些收益有代价。原型的每候选准备开销约为 1–3 秒（只读分叉）和 8–12 秒（需要复制私有数据），因此推测主要在工具调用较长时才有利。端到端开销按比例报告为 28% 草拟器调用、32% 沙箱管理、15% 验证与追踪、25% 恢复。因此一个延迟结果应被理解为对工具持续时间和是否接受额外 GPU/CPU 工作的条件性说明。
评估边界很重要。评估的 SWE-Marathon 子集排除了依赖 GPU 的任务，因为原型沙箱后端仅支持 CPU。Riker 不扩展到分离守护进程、外部数据库服务内部、多进程沙箱浏览器、远程服务或网络状态，这限制了这些交互的推测性重用。基于 4,010 条记录的审计给出 0.075% 的误接收率上限（95%），但该样本界限结果不应被解读为对不透明副作用的普遍保证。
对于一个 30 分钟的实验，可重放一段短工具轨迹并记录每个候选的就绪性、四项验证谓词、准备时间、重用、重放与恢复。扫描工具延迟与 in-flight 操作数的比例，报告平均墙钟延迟以及被拒绝或重执行的候选数。该设计可测试何时额外的推测化开销可摊薄隔离与恢复成本而不扩大验证边界。
学习如何构建一个小型的追踪与重放实验，测量何时安全的工具重叠能超过沙箱与恢复成本。
竞争风险日志将代理逃逸与安全停止及边界屈服分离
A Competing-Hazards Systematization of Loss of Control in Autonomous Agents
测量上的变化
论文针对一个具体的测量问题：事件报告与代理安全评估以不同方式描述事件，这使得失败难以比较，也难以将代理行为与环境允许越界动作成功的作用区分开来。
它以一种过程替代了该模糊性：将每次尝试归结为批准完成、 安全停止、范围越界或继续，然后把该过程形式化为离散时间的竞争风险模型。从该模型推导出在重试预算内的越界概率、基于模型的安全预算上限，以及可从执行日志估计的条件。
实际改变是最小的每次尝试记录：对每次尝试保留一行，记录执行标识符、可行性、重试预算、尝试索引、事件标签、尝试效果是否被阻止或实现、停止与约束反应、监控状态、审查与来源。越界风险表示为 e_t = a_t × b_t，将代理的尝试意向与在相同历史下环境的屈服条件分离。对于新的实验，这一分解把“干预起作用”变成可检验的问题：它改变了 a_t、b_t，还是安全停止的风险？
审计揭示了什么
审计覆盖 22 份事件报告与 102 个多步评估。在 22 份事件中，20 起观察到的效果超出许可范围；论文将此解释为失控的实现可能涉及持续的代理行为与宽松边界条件的相互作用。按论文陈述的假设，重新表述已发布汇总得出在 OpenAI 报告的评估中，未解决任务与已解决任务在范围外协同的任务级发生比约为 47。评估语料库中，没有任何评估同时发布了恢复所有每次尝试风险与审查所需的全部字段与区分。
边界与研究用途
这些数字并非详尽的总体估计：作者将审计描述为以停止规则组装的择样（purposive）集合，时间窗口截至 26 September 2026。作者还指出该形式主义是审计者自定的，因此它塑造了审计问题与报告标准；它是测量工具，而非说明代理为何越界的因果理论。
可转移的实验直接可行。固定重试预算 K 和统一的尝试单位；在同一表格中记录被阻止与已实现的尝试、停止反应、终结事件与审查。然后分别估计完成、 安全停止与越界风险，将预算耗尽标记为审查而不是合并为失败。该建议的模式旨在揭示边界条件；当某项干预降低观测到的越界时，下一个问题是它是否改变了代理意向、边界的屈服，或停止——而不是去找哪一单一失败率移动了。
学习如何设计逐次尝试日志以区分越界、安全停止、完成与边界屈服，并检验干预是否改变代理意向或环境的屈服。
abstract; S6.T4 and S6.SS1.p1.1; S5.SS1.p1.1; S5.SS2.p1; S5.SS3.p3.1; S7.p1.1; S7.p1.1; S9.p1.1