2026-10-26
2026-10-26
因果审计发现扩散智能体中的样例特定隐藏消息，以及依赖任务结构的通信时机
Hidden Messages Between Diffusion Language Model Agents: Causal Evidence for Latent Communication
单看总体准确率，无法判断接收方是否使用了针对具体样例的潜在内容。此前的一项审计通过比较无消息、当前样例消息、其他样例消息和接收方自行生成的消息来处理这一问题，并用不同指标分别衡量消息是否存在、消息身份、可归因于消息内容的任务增益，以及自我替代。
《隐藏消息》将这一因果问题应用于彼此独立的扩散智能体轨迹。发送方把选定的去噪状态压缩为四个带符号的 BF16 向量（4×128），而不是发送 token ID、logits 或部分解码的序列；各智能体保留独立的上下文、画布和轨迹。Tiny-A2D 使用门控残差融合，而 Dream-7B 将这些向量作为虚拟前缀嵌入来处理。在接收方边界，研究将匹配消息与无消息进行比较，并通过将消息替换为来自不同目标样例的消息、同时固定接收方上下文，来检验消息内容的作用。
在冻结的 Tiny-A2D 上进行的 HM-Synth 实验中，匹配消息将准确率从8.6%提高到72.9%，而来自不同目标的消息对应的准确率为9.3%；匹配消息与错配消息之间的差距为+63.6个百分点。针对性地替换发送方事实后，接收方在89.4%的样例中给出了不同答案，并在72.9%的样例中选中了被替换的目标，这支持消息包含与决策相关内容这一判断。对于 Dream-7B 上测试的顺序往返依赖，匹配的两阶段通信达到100.0%，而无消息时为9.8%，错配时为0.0%。在分布式 QASC 上，匹配的循环通信达到80.8%，而错误样例的消息将准确率降至46.8%。
在这些经过测试的任务中，通信时机随依赖结构而异：在两项支持性事实分散于不同智能体的 QASC 上，一次较晚的传递达到87.8%，比四轮循环交换高7.0个百分点。对于新系统，一种有用的复现实验做法是固定接收方的上下文和轨迹，同时设置匹配、缺失、错配和针对性替换几种条件；随后，当发送方可能需要重定向下一步计算，或先整合私有证据时，再比较较晚传递与循环传递的安排。因此，这一时机结果提出的是一个有条件的设计问题，而非普遍适用的交换规则。
这些通道是受监督的、特定于任务的适配器，因此现有证据支持的是习得的隐藏通信，而非涌现的或与任务无关的协议。论文报告称，最初在异质任务之间进行的零样本复用没有带来可检测的收益。目前关于自然问题的证据来自 Dream-7B 在 QASC 上的实验；论文也未证明相较于匹配的文本通信具有优势，或说明其墙钟时间成本。
阅读本文，了解一种可复用的因果审计设计——比较匹配、缺失、错配和针对性替换的消息——以及一项具体的时机对比，展示通信安排如何与任务依赖结构相关联。
abstract · The Audit Framework → Message Settings and Audit Metrics (Sx3.SSx2.p1-p3) · abstract
MOSAIC 诊断多模态对话记忆中的表征、检索、传递与读取损失
以往的长期记忆基准往往只报告单一端到端分数，因此难以确定证据是在表征、检索、传递还是读取阶段丢失。MOSAIC 针对涵盖文本、图像、视频和音频的角色设定历史，构建了 923 个问题，这些历史横跨 11–24 次会话。它关注空间、时间和韵律信号，而非装饰性媒体；空间信息获得了最强的因果验证，而韵律则通过选择器层面的验证。
方法上的改变是一套匹配诊断流程：各阶段替换时固定问题、阅读器、提示、打包器和预算，同时追踪检索到的证据在到达阅读器之前是否被丢弃。单条目干预只改变一个必要的信息载体，同时固定问题和其他证据环节。这为记忆研究提供了一种具体的实验操作：改变一个信息载体或流水线阶段，而不是根据总体分数推断瓶颈所在。
在针对 784 个可回答条目的匹配阶梯测试中，黄金标准原生证据得分为 0.783，通用描述/ASR 文本为 0.690，不依赖查询的结构化文本为 0.704；结构化文本带来的 1.4 个百分点回升，在统计上无法与零区分。黄金标准符号事实得分为 0.846，因此剩余的 15.4 个百分点反映的是读取和评分环节的失败上限，而非单独的读取失败，因为其中还包括阅读器、输出格式和判分器错误。在 194 个空间条目上，明确的空间描述比仅含物体信息的文本高 15.4 个百分点（95% 区间：9.5–21.5），但只弥合了与原始图像差距的一部分。标注的韵律选择器在其干预中起关键作用：将正确标签替换为相反标签会使分数降低 4.6 个百分点，而原始音频与 ASR 的对比没有明确结论。即使排序固定，紧凑打包也会显著降低完整证据链的传递率；但报告的 17.7 个百分点降幅同时涉及较小的 top-k 和每种模态仅保留一个媒体项目，因此不能将其单独归因于这一上限。
这项诊断有重要边界。阶段标签反映的是流程中的关联，而非完全隔离的因果机制，因为黄金标准上下文与检索上下文在干扰项和构成上也有差异。视频干预的零结果统计效力不足，无法排除较小效应；报告的 80% 功效最小可检测效应为 8.9–11.2 个百分点。接近零的音频对比并不能证明系统能从声学信号或转录文本中恢复情绪。角色设定、证据会话和媒体均为合成数据，因此在自然采集的多模态历史上评估仍有待未来开展。最后，最高的可回答条目分数并不意味着系统能可靠地拒绝作答：在可回答条目上得分为 0.732 的系统，只在 0.410 的拒答控制题中正确拒答，而这些控制题仍保留了可观察的形式线索。
阅读本文，可借鉴一种受控评估设计：固定阅读器和评分设置，再改变一个证据载体或流水线阶段，以区分证据缺失与解释失败。
面向事件的补丁在 Atari 回报误差定位中胜过像素误差排序
Events, Not Pixels: Where World Models Get the Return Wrong
世界模型可以生成看似合理的画面，却给出错误的回报；本文针对的是画面保真度与规划相关回报准确性之间的落差。作者不把最大的视觉差异当作最重要的失效，而是追问：如果用真实对应帧替换某些想象转移，哪些转移会改变回报估计？
对于每个 Atari 探测序列，作者在环境和世界模型中重放固定的动作序列。一个冻结的、无记忆的逐游戏检测器读取连续帧中的奖励和终止信号；作者选定想象转移，并用对应的真实帧替换，同时保持动作不变。事件掩码从真实的非零奖励或终止信号开始，再向前后各扩展一步。随后，作者将事件定向补丁与步数相同的随机补丁进行比较，并加入互补补丁和全部转移的对照组。
在通过可靠性检查的 44 个 Atari 模型—数据采集配对中，事件补丁在 39 个配对上的提升为正，中位提升约为 44 个百分点。总体而言，恢复事件转移可消除回报误差中位数的 70%，而随机补丁为 17%。然而，按报告中的视觉指标衡量，事件帧并没有异常糟糕：它们相对于其他帧的像素误差中位数比值为 0.85；按中位数计算，最大 MSE、SSIM 和 LPIPS 补丁消除的回报误差并不比随机补丁更多。
这就是本文在评估上的关键改变：干预按相同预算匹配，并以回报为依据，而不是从视觉误差推断重要性。对研究者而言，可迁移的做法是在设计修复方法之前先进行这种补丁测试：定位真正重要的转移，再检验干预是否改变了决策指标。在这里，事件补丁提升了所有报告的可靠配对中的成对计划排序准确率。
适用边界很重要。Atari 归因要求检测器在独立数据采集上达到奖励事件 F1 0.90，且报告的归因仅覆盖通过检查的 44 个配对。对齐是操作性定义，并非自动成立：在 Freeway 中，未扩张的补丁效果为负，因为奖励数字是在获得奖励的转移之后才出现。终止信号也纳入掩码，但在所报告的设置中，替换终止转移仅消除了回报误差中位数的 0.7%。最后，修复实验并未证明仅靠采样就有帮助：扩散网络的一个确定性变体也优于 MSE 基线。应将这一结果视为定位诊断，而非经过验证的通用修复方案；接下来的问题是，同一事件定义能否适用于这些经检测器验证的 Atari 设置之外。
阅读本文，借鉴按相同预算匹配的真实帧补丁测试，在改变世界模型目标之前诊断与规划相关的失效。
FairAMO 发现：编排带来的增益取决于受控预测下候选模型的互补性
Rethinking Agentic Model Orchestration for Time Series Forecasting
智能体模型编排（AMO）可以提高预测准确率，但报告中的增益可能来自更强或互补性更好的候选时间序列基础模型（TSFM），而非编排本身更出色。FairAMO 将这一归因问题作为受控评估协议来处理。
该协议会将候选预测缓存到 Frozen Forecast Bank 中，为编排器提供相同且获准使用的历史证据，屏蔽测试标签，并要求编排器在测试评分前作出选择或组合决策。这一设计固定候选池和证据预算来比较不同编排规则，有助于将决策过程的贡献与可用预测本身区分开来。
在主要的五候选池设置中，使用验证集加 10 次回测（val+B10）时，TSOrchestra SLSQP 的 MASE 为 0.658，而最佳单一候选 TiRex2 为 0.697；按照官方 GIFT-Eval 测试评分，这相当于提升 5.6%。这一结果受候选池限制：它并不能证明编排可以脱离候选质量而独立产生增益。候选池规模消融显示，将候选数量从两个增加到五个会扩大可用的提升空间，但加入第三个候选之后，增益的进一步实现开始递减。
候选池的构成比单看数量更有信息量。在池规模固定时，包含 TiRex2 的候选子集比不包含它的子集能够收获更多可用的提升空间。反过来，单独表现较弱的候选也可能因为其误差带来有用的多样性而改善集成效果，因此单模型排行榜上的名次并不能决定候选对池的价值。历史证据的回报也有限：对于受测方法和主要候选池，增加回测次数在较小预算范围内有所帮助，但预算扩大时并不会带来单调提升。
可迁移的研究做法是先冻结预测，预先登记证据预算，并分别改变候选池规模、互补性和历史窗口。应同时报告原始准确率和收获的候选池提升空间比例；否则，更强的候选池可能被误认为是更好的编排器。结论仍有明确边界：实验在 GIFT-Eval 上进行，因此尚未确立其能否迁移到其他基准或部署场景。FairAMO 还针对每种数据集与预测时域配置只作出一次决策，并在不同窗口间保持该决策，因此尚未测试更细粒度的、针对特定窗口的决策。最后，作者表示，LLM 中介式编排的贡献仍未解决；本文报告的最强方法是选择和加权规则。
评估智能体或集成预测系统时值得一读：本文提供了具体的匹配预测协议和消融实验，用于区分候选池质量与编排质量。
ChronoEvo 衡量更新后的医学证据是否进入最终建议
Large language models show systematic failures in incorporating evolving medical knowledge
较早的时序指南研究 TempoMed-Bench 构建了 721 对指南版本差异，并据此生成选择题；它考察了当前与历史知识、时间一致性以及检索效应。ChronoEvo 所支持的增量更为有限：它关注模型能否将明确提供的更新证据完整纳入建议，而不只是识别出时间上的变化。
ChronoEvo 包含 1,709 项经过核实的建议级修订，涵盖 12 类知识变化。其主要的完整证据评估分别考察修订识别、临床正确性和完整纳入；生成时不提供更新后的建议，但会提供更新证据。这样一来，“模型注意到了更新”与“模型运用了更新带来的影响”成为不同的评估终点；这一划分是论文的主要评估操作。
在主要完整证据条件下，Qwen3-4B 的 90.8% 回复体现出对修订的识别，80.2% 在临床上正确，58.5% 完整纳入了修订后的指南——识别率与完整纳入率之间相差 32.3 个百分点。对于 90.2% 的修订，更新证据使回复在词汇相似度上更接近当前建议，但这种变化并不保证完整纳入。调整后，某些修订类型——尤其是强度或确定性变化——与更多过时内容保留相关；这是相关性，而非因果证据。
强调修订显著性的提示减少了过时内容保留，并提高了临床正确性，但完整纳入率基本未变，为 58.5%，而对照为 59.3%。临床医生裁定发现，300 条验证回复中有 156 条（52.0%）完整纳入了更新，相差 40.3 个百分点；由于该样本采用定向增补，并由两名医生评估，其绝对比例仅能描述该验证样本。
作为可迁移的研究操作，在测试更新处理干预时，应将修订识别、临床正确性、完整纳入和过时信息保留分别作为评估终点，而不要将它们合并成一个准确率数字。ChronoEvo 不测试正确指南的检索、适用版本的选择或部署期间长期知识维护，因为实验直接提供了相关的更新证据。其识别指标反映可观察到的回复行为，并非对内部知识的直接测量。最后，GPT-5 负责建议抽取、核验和主要回复评估，因此依赖模型的判断会影响基准构建和主要评估。
阅读本文，可了解如何设计更新基准，将识别修订与把修订带来的临床后果落实到最终建议中区分开来。
abstract; Results, §2.1, paragraph 1; Results, §2.2, paragraph 1; Results, §2.2, paragraph 2; Results, §2.5, paragraph 3; Results, §2.7, paragraph 3; Table 2; Results, §2.8, paragraph 2; Discussion, §3, paragraph 7; Methods, §4.8 · Section 3.1, Trajectory Difference Extraction; Section 4.2, Collapsed Accuracy on Outdated-targeted Questions; Section 4.3, Diversified Consistency Patterns; Section 4.4, Limited Improvements in Accuracy; Table 3