ACaM将Python智能体源代码转化为受约束的能力图,用于威胁链分析
ACaM: Automated Capability Modeling for Agentic AI Security
ACaM针对一种具体的失效模式:智能体可能以表面上无害的理由调用工具,但其实现中却包含说明中未提及的危险行为。论文将其称为能力洗白。文中将MCPDiFF和DCIChecker描述为能够提取实现行为并将其与工具说明进行比较的系统;ACaM则将分析目标转为智能体层面的能力模型和威胁链重建。
ACaM将智能体源代码编译为智能体能力属性图(ACPG)。它采用不对称的分工:静态分析锁定从代码得出的事实,而LLM只在这些事实无法表达行为含义时提供语义解释。该图支持跨越多次工具调用的候选路径。可迁移的设计经验是:让模型进行有界的语义解释,而不是推翻通过机械方式确立的安全事实。
不同任务的证据分别报告。在24个智能体——10个基础智能体和14个易受攻击的变体——上,针对人工标注的核心属性,ACaM达到0.983的宏平均F1;相比之下,仅静态分析的ACaM-SA为0.934,每个智能体表现最佳的纯LLM配置为0.814。在注入了经真实情况验证的攻击链的14个变体上,按七项事实评分的重建任务平均得分为0.980,而最强的纯LLM基线为0.903;静态基线得分不高于0.342。报告中差距最大的部分涉及恢复中间环节的有序链条。
在43个未经修改的智能体上,ACaM发现了许多结构上易受攻击的路径:作者人工审查了全部123条Critical路径,并确认每条路径都存在于代码中;在本地部署的合成数据环境中,九个智能体的十项发现获得了可运行的概念验证漏洞利用。这些属于不同的证据层次,并非一个端到端准确率:属性评分仅覆盖24个智能体上的固定核心属性;现实候选路径的确认部分依赖一个独立的LLM验证器;概念验证仅验证了其中一部分。
这些适用边界对实际操作很重要。该实现专用于Python。它假设可以白盒访问源代码,且不覆盖运行时会变更的组件、不透明组件或使用规避技术的代码;无法解析的结构会标记为未知,而非安全。保守的最坏情况处理可能引入误报,而运行时构造的文件路径则可能导致漏报。面对一个新智能体,一种有用的研究操作是先生成以代码为依据的清单,再检查跨工具路径,最后单独测试高风险候选项——在独立验证之前,应将其报告为候选项。因而,最适合将ACaM视为部署前分析工具,而非运行时防御,也不能把它当作每条候选路径都可被利用的证明。
阅读本文,可以研究一种具体做法:在部署使用工具的智能体之前,将代码确立的安全事实与有界的LLM解释区分开来。
来源位置
仅依赖接收方的有限样本门控:跳过辅助消息,同时认证答案变化风险
在所提供的比较中,较早的通信剪枝工作采取拓扑层面的路径:AgentPrune学习彼此独立的空间和时间图掩码,执行一次性幅值剪枝,并在后续交互中固定由此得到的稀疏拓扑。在一个报告的GPTSwarm用于MMLU的设置中,加入AgentPrune后,得分降低0.93分,同时报告的提示词token数和成本也下降。因此,所提供的评估报告的是任务表现与成本之间的权衡,而非有限样本下的答案一致性认证。
本文将决策单位从通信拓扑改为单个问题。它读取接收方智能体在没有辅助消息时的置信度,并使用有限样本检验来认证一个阈值,使得以高概率来看,被跳过的问题中至多有5%的答案会发生变化。如果没有阈值通过检验,系统就继续通信。这项认证约束的是答案变化,而非准确率:与部署时参考答案的一致,并不保证跳过通信后的答案能保持参考路径的准确率,也不保证保留相对于接收方单独作答所带来的增益。
将实证结果视为三项独立测量时,证据最有力。在文本确有帮助的四种未见问题设置中,策略跳过了59–80%的问题,并保留了辅助方准确率增益的估计值76–95%;保留的增益只是估计值,并非认证本身。在报告的单批次OBQA/ARC回放中,跳过文本每个查询节省319–718毫秒,而跳过KV缓存通信节省37–111毫秒。在两项预先固定规则的前瞻性测试中,系统在封存问题上跳过了39.9%的三智能体验证器调用,同时保留其12.55分、共12.80分的增益;在留出问题上跳过了68.4%的32B辅助模型调用,同时保留其全部增益。
适用边界在实际操作中很重要。受测的冻结策略在论文所报告的解析器下通过了样本外95%上界低于5%的标准,但大多数测试没有预先设定通过规则。封存的ARC C2C结果在官方抽取方式下为5.2%,尽管使用论文的解析器时通过了标准;这是因为抽取方式对部分选项文本的处理不同。合并后的MMLU-Pro认证不提供联合保证或子群体保证;开发阶段的证据包括72个被跳过的工程类C2C答案中有12个发生变化。在GSM8K上,由于探针对答案变化的排序能力不佳,认证也退回了备用方案。
实现路由器时,应先复现解析器和校准数据划分,再分别报告一致性风险、保留的辅助收益和配对端到端延迟。真正有用的研究问题不只是通信是否冗余,而是接收方单独可用的信号,能否在具体任务和抽取规则下预测何时可以安全地省略通信。
阅读本文,借鉴如何设计智能体路由器评估:分别衡量答案变化风险、保留的辅助收益和实测延迟,并进一步检验解析器与子群体假设。
来源位置
SkillCFI将边界可观测的技能义务编译为确定性控制流合约
SkillCFI针对基于权限的控制中的一个具体缺口。某项技能可能要求执行许可名单允许的操作,却仍违反操作顺序——例如在验证之前覆盖文件;模型也可能谎称检查已通过,从而绕过监控器。本文转而探讨:可信执行边界能否确认后续操作所需的前置条件。
其离线编译器从同一项技能中同时生成智能体指令和可执行合约。它将义务分为可强制执行、指导性或不支持三类:如果无法在工具边界上为强制义务所保护的效果或决策相关证据提供依据,就会拒绝该义务。运行时,确定性执行器只依据可信且相关联的证据批准请求,并拒绝内联脚本等未经中介的通道。
在八项自行编写的技能上进行24次源代码变异后,观察到的116次判定偏差全部比预期更严格,没有一次偏向放行。在针对作者编写的技能违规的评估中,SkillCFI在调度之前拦截了全部240个符合条件的目标;而在各自的异常任务条件下,No-Gate和基于权限的Allowlist都调度了全部80个目标。在正常路径上,No-Gate完成了79/80项任务,SkillCFI完成了78/80项。
在测试的异常会话中,返回可执行的后续步骤,使拒绝后的严格恢复率从21%提升至65%。检查耗时约占任务时间的2%。抽样检查的53个公开技能包没有任何一个能按原样通过;随后有七个被选中的技能包经过改编或移植,形成了可接受的合约。
该保证有明确的边界。定理针对获准通过边界的轨迹,并以完整中介、可信的结果关联、受保护的监控器状态和经过验证的激活为条件;若要将其应用于技能源代码,还需要进行从源代码到合约的审计。它不保证任务完成,也不保证模型生成内容的语义质量,其保证仅限于受中介边界覆盖的效果。主要违规研究发出的是直接的异常任务请求,并未测量间接提示注入诱发的违规;当前合约模型还假定会话中只有一项技能,并且按串行方式运行。
一种可复用的研究操作是在编写监控器之前审计可观测性:对每个强制步骤,明确指出证明其已发生的可信事件、监控器能够阻止的效果,以及可能绕过它的通道。如果缺少其中任何一项,就应将其报告为指导性要求或予以拒绝,而不是把模型的断言当作证据。
阅读本文,可以了解边界可观测性检验:它将每项强制工作流要求转化为有关可信证据、受中介的效果或明确拒绝的问题。
来源位置
PIPETTE将策略覆盖纳入提示注入紫队测试
PIPETTE: Prompt Injection Purple-Teaming for Robust LLM Agents
差距
在所提供的比较中,RL-Hammer利用黑盒目标响应提供的组相对奖励,优化一个将恶意目标改写为注入内容的攻击者;它不需要价值模型或精选的偏好对。加入多样性奖励,会提升所选指标衡量的多样性,同时通常仍保持较高的ASR,但作者给出的例子显示,这可能是在钻指标空子——例如改变大小写或措辞、添加无关的前缀问题——而非可靠地产生新颖策略。在红队测试期间更高的攻击成功率,并不能可靠地预测更强的下游鲁棒性:在四种受测模型/训练设置中的三种里,PISmith的训练期ASR高于RL-Hammer,但推理期最坏情况ASR也更高。
变化
PIPETTE提出了一个统一的紫队测试框架,其红队奖励采用字典学习来鼓励更广泛地覆盖攻击策略。其防御阶段使用针对间接提示注入防御而设计的在线策略对抗训练流程,使智能体能够抵御攻击,同时完成合法的用户任务。实际上的变化在于,评判攻击生成时要看它能带来怎样的防御者,而不只是看攻击者在训练期间能否攻破目标。
证据
Pipette-Red在Qwen3-4B上取得70.54%的训练期累积ASR,在Llama-8B上取得41.07%。在四种受测模型/训练组合中,使用其数据训练得到的最坏情况ASR,在三种红队数据集中均为最低:Qwen3-4B(RL和SFT)分别为20.0%和2.5%,Llama-8B(RL和SFT)分别为10.0%和5.0%。作者指出,数据集规模和采样方式也有所不同。
Pipette-Blue在Qwen3-4B上的良性效用为64.95%,高于其基础策略的61.86%;在Llama-8B上为41.24%,高于其基础策略的40.21%;在相同攻击数据集上进行常规RL和SFT,结果更低。在受测的迭代自适应搜索下,Pipette在Llama-8B上的ASR为0%/2.5%,在Qwen3.6-27B上为2.5%/5.0%,在GPT-OSS-20B上为5.0%/10.0%(TAP/遗传算法),在每个模型上都低于相应的基于训练的基线。遭受攻击时的效用并未在所有情况下都达到基线水平。
适用边界与研究操作
迭代自适应评估使用的40组任务对,是从静态攻击已攻破未设防Qwen3-4B的任务对中选出的,因此这些ASR结果并非对全部420组任务对的估计。实验支持策略覆盖与防御结果之间存在关联,但并未证明策略覆盖不足是训练期与推理期差距的唯一原因。
若要复现,应匹配攻击数据集的规模和采样方式,然后一并报告训练期ASR、策略覆盖度、未见攻击ASR和良性效用。可迁移的问题是:当红队方法和评估攻击保持不变时,覆盖度指标是否仍能预测防御者的鲁棒性。
阅读本文,可以了解一条具体的评估经验:应依据下游鲁棒性和良性效用来评判成功攻击,而不应只看训练期ASR或表层文本多样性。
来源位置
重用残差,让事实JEPA成为短时域反事实预测器
Counterfactual World Models: JEPAs That Reason About "What If"
仅凭事实结果分布,无法确定个体反事实。本文提出了更强的主张:仅通过事实转移训练的世界模型,无法单凭这些转移回答“同一事件、同一扰动”下会发生什么。与提供成对原始序列和干预序列及反事实目标的CoPhy不同,该方法在推理时重用事实转移。
观察到一次转移后,它将观测到的终点加上事实预测器对替代动作的预测,再减去该预测器对事实动作的预测,从而预测另一种结果。观测到的终点携带事件特定残差,而两次预测器求值提供动作对比。这种构造不需要反事实数据、额外参数或重新训练。它改变的是推理方式,而非提出新的反事实训练目标。
在论文所设定的短时转移平滑性假设下,残差重用的平方绝对误差为O(h^4),相对于扰动引起的方差,其误差为O(h^2)。一个匹配的最坏情况极小极大下界表明,对于只掌握未配对事实分布和一个观测结果的估计器,绝对误差具有相同的首项阶数。要将结果解释为个体反事实,还要求已记录的动作在给定模型上下文的条件下不存在混杂,并且被查询动作具有支持。小误差保证还取决于动作通道和扰动通道相互独立、交互有限以及坐标合适等条件。
在四种渲染环境中,使用观测结果进行读出空间残差校正后,8k个事实回合下的反事实物理R²达到85.6–95.7%;相比之下,同一批预测器在没有观测结果时为38.1–45.6%。在四种环境中,有三种无需物理状态标签也能获得大部分提升;但BlueROV2表明,校正坐标的选择和额外的事实数据会显著影响性能。当交互较强或坐标无法保留所需结构时,残差重用可能比忽略观测结果更差;即便使用精确的模拟器均值,也会出现接触场景下的失效。利用观测到的转移,可以改善事后动作选择:相较于虽知道模拟器、却不知道该事件实际扰动的规划器,前者表现更好。
这些边界很重要:实证验证仅基于模拟,并使用了刻意指定的扰动;结果不能证明该方法在真实系统或任意不确定性下有效。已展示的残差重用仅针对单次转移的反事实;只有在扰动持续存在时,才有理由将其用于后续决策。因此,一种有用的复现实验是改变校正坐标、转移时长、接触情形和动作记录策略,并同时报告反事实误差与规划器选择质量,而不应只报告事实预测误差。
阅读本文,可以简要检验观测到的视觉转移能否为反事实控制提供事件特定信息,并了解理论结果和诊断如何明确指出这一捷径何时会失效。