2026-10-19
2026-10-19
仅凭准确率，无法认证心智理论模块是否有助于团队
Smart Alone, Blind Together: Why Accuracy Fails to CertifyTheory of Mind in Multi-Agent Teams
本文质疑一种常见的认证捷径：人们通常依据推断准确率，来评判那些根据对队友的推断采取行动的协调器。作者认为，准确率并不能作为部署认证：所需门槛取决于错误行动的代价，而相互作用的错误信念还可能使相同的准确率在一项任务中有益、在另一项任务中有害。具体局限在于，模块级分数没有纳入部署的损失结构和错误之间的依赖关系。
作者提出，应认证整个部署，而不是孤立地认证信念模块。盲点门控（Blind-Spot Gate）在不部署模块的情况下，对单项错误代价、成对交互以及测得的依赖关系进行计价。其基本逻辑是有条件的：在每项信念的错误率相同且错误呈正相关时，如果共同错误造成的损害相互重叠，它们就会有所帮助；如果损害叠加，它们就会有害。该门控给出的是对部署收益的二阶估计，而非替代准确率指标。
实验说明了固定准确率阈值为何不稳定。在任务分配、基于等级的觅食（Level-Based Foraging）和 Hanabi 中，错误行动代价越高，盈亏平衡准确率也越高。在任务分配中，准确率阈值会拒绝一些经常优于什么也不做的分类器，因为它们的错误很少触及部署中代价高昂的渠道。在 Hanabi 中，共同误读可能消除冗余，使另一位观察者无法挽救队友手中的关键牌；当生命数为两次或更多时，报告显示，在所有测试单元中，共享错误都会造成损失。对于语言模型，个体错误减少并未带来独立性假设所预测的联合失败降幅：对于模型掌握了相关证据的队友，错误率从 32% 降至 11%，而三名观察者全部误读同一队友的概率仅从 16% 降至 9%。
认证结果令人鼓舞，但有其适用条件。对语言模型进行的 57 单元比较属于探索性分析；在报告的 20 个划分中，将依赖关系纳入代价和成对交互后，显著的错误批准被消除，但暂缓判断的次数多于仅依据准确率时。在预注册的留出分类器测试中，该门控找回了被准确率标准拒绝、但实际有益的部署；其报告的遗憾值为 0.004，而准确率标准为 0.479。另一个贝叶斯模块测试揭示了适用边界：在 20 个划分中的 17 个里，准确率标准出现了显著的错误批准，而该门控仅有一次，因此并未达到预测的零错误批准。
该门控并非普适的安全保障。它忽略三个或更多错误信念之间的交互，假设错误代价与决定其后果的情节状态无关，并且依赖于注入表与模块错误分布相匹配。证据也来自具有已知隐藏变量的受控基准，而语言模型测试只使用了一类提示。对于新的部署，可迁移的做法是识别代价高昂的错误渠道，重放或注入这些错误，估计成对后果，并测量共同失败，而不是假定观察者彼此独立。
阅读本文，了解如何用部署分析取代准确率阈值：在使用信念模块之前，测量代价高昂的错误渠道、成对损害和共同失败。
以用户为中心的审计将基准的来源用户与目标用户区分开来
Whose Data, Whose Benchmark? A User-Centric Framework for Auditing Evaluation Resources
基准分数可能掩盖这样一个问题：究竟是谁的惯例、语境和判断定义了成功表现。本文的核心方法是区分来源用户和目标用户：前者的内容与判断参与构建评估资源，后者的需求与语境则是资源结果旨在服务的对象。该方法针对基准内容、元数据、文档和评分程序中的七个维度进行操作化。
研究将这一框架用于11个文本基准和五个图文资源。在文本基准中，研究者通过基于模式的检测识别拼写、日期、时间和度量信号，并分别报告条目覆盖率以及匹配信号中以美国为中心的形式所占比例。在图文资源中，研究者解析说明文字和文本元数据中的国家指涉，并将其与社会经济指标进行比较。两名标注者依据六项标准的量表，对公开文档中有关来源和目标用户语境的说明进行审计。
在匹配到的惯例信号中，11个接受审计的文本基准均以美国中心形式为主，其报告占比介于62.4%和94.4%之间；不同基准中的信号出现率差异很大。在五个资源中，解析出的文本国家可见度与各国 GDP 占比呈正相关；这描述的是分析过的说明文字和元数据中的指涉，并非图像或贡献者的地理来源。在规模较小的 DROP 配对案例研究中，官方精确匹配评分器大幅降低了对所选语义等价答案变体的认可度：对于来自11个问题的12组符合条件的答案对，精确匹配率从100.0%降至33.3%。在文档审计中，每个资源都对来源语境进行了操作化说明；尽管所有资源都提及目标用户或评估语境，却没有任何资源将其转化为可供操作性审查的内容。
三项局限决定了这些结果适用范围的边界。惯例审计考察明确的拼写、日期、时间和度量信号，并将多种替代形式归入同一比较类别；它既不代表某一种单一的英语变体，也无法涵盖所有地区惯例。地理可见度依据说明文字和元数据中解析出的文本指涉，而非图像地理定位、贡献者位置或内容来源；报告的经济关系是相关性，而非因果解释。文档分数衡量的是作者依据其量表，在审阅的公开材料中发现的明确且可供审查的内容；它并不能证明资源构建或使用过程中不存在未被记录的做法。研究仅涵盖所选资源和维度，因此不能据此认定所有基准、语言或用户语境都存在相同模式。
对于新的基准，可以采用一套具体的研究流程：将信号出现率与匹配信号中的占比区分开来，用实际评分器测试语义等价变体，并在解读分数差异之前，将目标用户假设转化为可供操作性审查的内容。
阅读本文，了解一套可重复的审计流程：区分来源用户与目标用户，测量惯例覆盖情况，并用等价答案检验评分器。
目标词元构成可能逆转汇总的深度消融交互
Target-Token Asymmetry Can Masquerade As Depth Specialization
跨语料库的层消融研究会对各语料库提供的下一个词元目标所造成的损害取平均。当不同语料库要求的目标词元构成不同时，这就会带来测量风险；本文以数学解答（其中空白和数字更多）与百科全书散文为例。作者明确提出了方法上的改变：按目标词元类型拆分早期与后期损害之间的交互，再依据两个语料库共有的目标词元构成重新计算。
在审计中，作者比较 GSM8K 与 Wikitext 之间早期和后期区段干预造成的损害，将目标分类为空白、数字、标点、功能词或内容词，并报告汇总结果、条件结果、排除空白后的结果以及匹配词元构成后的结果。因此，研究要估计的不只是总体交互能否复现，还包括控制构成后其符号是否仍然保持。
在典型的 GSM8K–Wikitext H=3、均值混合、top-1 设置中，三种主要模型的汇总交互均为正值；但空白这一条件单元格的数值比它大一个数量级以上，而四个非空白点估计均为非正值。在所有三种主要模型中，去除空白都会使典型汇总估计的符号反转；匹配 Wikitext 的完整目标构成则在三种模型中的两种上造成符号反转，并非全部三种。按位置进行匹配以及对位置进行条件化，都未能消除正向的空白交互。连续目标间隔读数得出了相同的定性判断：在所审计的两个时间范围内，空白目标都出现正向交互，而内容目标结果并未呈现这一模式。
另一项 H=1 的温和重采样实验发现，内容词交互与模型控制通次的正确率差异相对应；在这一系列实验中，使正确与错误目标的构成相同后，重加权估计不再明显为正。输入层面的分层在五种情况中的四种仍保留较小的正效应，因此，这种控制准确率的拆分并不能证明所有与构成有关的效应都会消失。
实际研究中值得采用的做法是：在将跨语料库的深度效应解释为专门化之前，公布目标类型占比、汇总和条件交互，以及至少一个共同构成估计。仅基于分词器的筛查可以帮助确定审计优先级：在三组有评分的留出高低标签中，所有九行模型对数据都落在其预测的点估计区域内，尽管其中一行未满足区间标准。由于选择输出区域阈值时参考了校准数据行，这项评估属于探索性分析。此外，提交材料缺少用于独立计算复现的分析脚本、机器可读结果文件和图表生成脚本。因此，这种反转是关于所审计设置的证据，并不能证明深度专门化不存在。
阅读本文，了解一种具体的可解释性防护措施：它展示了如何将复现的跨语料库层效应转化为目标构成审计，同时保留汇总结果符号反转所依赖的精确条件。
循环式 Transformer 可能先算出答案，之后隐藏状态才变得可复用
Learning to Compute Is Not Learning to Retain or Reuse in Looped Transformers
循环式 Transformer 会反复应用同一个模块，因此可以运行比训练时更多的循环。当一个正确答案后来变错时，原因可能是计算失败、答案未能保持，或者某种状态无法被后续计算复用。在报告的长度为32的评估中，训练为在循环32时作答的模型在该循环下完全正确，但到循环64时，仅保留了其中 22% 的答案。
作者使用上下文内 Mealy 机执行任务，由模拟器提供中间目标，并为隐藏状态干预提供精确反事实。评估会读取不同循环中的位置，并直接测试相应的隐藏状态：位置 k 在循环 k 时计算；如果将其循环 k 的向量替换为另一个输入对应的向量，后续位置就可能转向该输入的精确续写。
训练对比改变了监督方式。每个样本均匀随机选取一个位置进行监督，而不是始终只监督最后一个位置；在三模型、32 循环的比较中，这种做法使循环64时的端点答案保留率达到 99.8%。在预期预算相同的情况下，随机化训练退出点也比固定退出点提高了循环64时的端点准确率，而梯度截断没有带来这种提升。这些结果表明，答案保持能力部分取决于训练目标，但并未证明某一种训练选择普遍最优。
关键的区分来自状态干预。在十个仅用最终答案进行训练的模型中，对位置8在循环8时的隐藏向量进行交换后，所有 237 组符合条件的测试样本对，都转向源输入的精确符号后缀。这表明，在指定机器上下文和干预条件下，该向量具有因果充分性；但这并不意味着向量包含唯一的符号编码。状态复用则是另一回事：在几乎保留所有答案的模型中，从循环 k 起固定每个位置，会使端点准确率降至 4–6%；而从循环 k+4 起固定则没有影响。在一项使用采样前缀的后续实验中，在测得的前沿之后冻结两个循环，使端点平均准确率恢复到 99.80%；而立即冻结前沿时，准确率仅为 4.10%。
因此，值得借鉴的实际做法很简单：在解读过度思考曲线之前，将逐循环读出与精确反事实交换和冻结测试结合起来。这些测试能够区分不同的行为属性，但不能确定微观原因，也没有提供通用修复方案。由于模型没有位置嵌入或循环嵌入，冻结操作也可能同时固定时序或顺序信息。训练比较使用的模型种子组较小；外部迷宫检验仅使用一个检查点、没有训练种子，并且每种尺寸测试 32 个迷宫。
阅读本文，了解如何将含义模糊的过度思考曲线拆解为对计算、答案保持和隐藏状态复用的独立测试。
Concat IDM 在已见视觉多样性下提高 Push-T 的潜在规划成功率
Learning Intrinsic Dynamics in Latent World Models
本文针对一种特定的表征失效进行分析，并未声称所有潜在预测器都会失效。在命题3.1的条件下——编码器、物理状态和外观固定，且两个不同动作所产生的可区分结果被映射到同一个后继潜在表示——前向预测器可以精确预测这对转移，但逆动作的平方误差仍有正的下界。
Concat IDM 改变了训练方式：它根据拼接后的连续潜在状态预测已执行的动作，并利用离线轨迹中已有的动作标签更新共享编码器；测试时的规划器保持不变。因此，逆向预测头是对编码器所保留信息的一种训练约束，而不是额外的规划成本。
支持这一作用路径的证据来自干预，而不仅是分数比较。在具有24种外观的 Push-T 上，阻止逆向损失更新编码器会使成功率从匹配条件下的75.5 ± 2.8%降至21.1 ± 17.2%；打乱动作目标则会使成功率降至9.4 ± 3.7%。这些对照结果支持这样一种解释：正确配对的动作监督通过编码器发挥作用；不过，它们并未直接测量训练模型中定理所提出的合并现象。
在列出的多外观设置中，报告的平均成功率在 Push-T 上从9.1%升至77.2%，在 TwoRoom 上从53.2%升至97.3%，在 Cube 上从60.7%升至75.4%；Reacher 的成功率已达饱和，没有提升。主要比较中，每种条件使用三次独立训练运行。在使用相同物理轨迹池的配对 Push-T 比较中，据报告，随着外观数量从一种增至24种，Concat 与 Plain 的成功率差距扩大了52.9 ± 7.1个百分点；三个区块均为正值。
应将这些结果理解为针对特定归纳偏置的证据，而不是对动力学的完整恢复。主要规划证据来自已见外观以及当前与目标渲染相匹配的设置；在不重叠的调色板上，Plain JEPA 的成功率为4.2%，Concat IDM 为13.4%，仍有很大的迁移提升空间。一项有用的复现实验是配对外观多样性条件、保持规划器不变，并纳入停止梯度和打乱标签对照，然后再将探针结果解释为机制证据。
阅读本文，了解如何在受控的视觉多样性条件下，将离线动作预测损失作为编码器层面的干预进行检验，而不是仅仅视作另一种规划阶段分数。