Anthropic 红队研究:AI 一旦逃离黑箱 利用电视盒子、扫地机、智能烤箱等智能设备 即可完成自我复制
原文链接: https://www.anthropic.com/research/self-replicating-ai 来源: Anthropic 发现于: 小互 · AI 解读站 · 2026/10/13 说明: 本文由 AIHot 自动聚合,并由 GLM 翻译为中文(保留全部代码与链接)
Frontier Red Team
AI 模型或许无需访问数据中心即可实现自我复制
2026 年 10 月 12 日
William Zhou、Daniel Freeman
我们的实验表明,小型 AI 模型可能距离具备在商用物联网(IoT)设备(如智能烤箱和杂牌 Android TV 盒子)上自我复制的能力只有数月之遥。这样的复制体将难以被关闭,因为它没有可供切断的集中控制点——尽管其速度可能较慢(倍增时间以天计)。与非 AI 恶意软件不同,它还能自行搞定陌生的设备。在我们的评估中,一个 9B 模型在我们测试的 9 种硬件中有 8 种成功让推理运行了起来。
参数量在 30B 及以下的模型如今已能完成复制的许多单个步骤,但在端到端地将这些步骤串联起来时会出错。在我们的简化评估中,GLM-5.2 及更强的模型能够完成端到端复制。如果小型模型按其历史速度改进,它们将在今年年底前达到这一能力水平。基于权重的小型复制体可能在此后不久成为可能。
引言
不断进步的 AI 能力让一个长期存在的担忧日益成为现实:自主复制与适应(ARA),即模型在无人控制的情况下部署并传播自身。
在网络空间中,蠕虫(worm)是一种无需人工输入就能将自身从一台计算机复制到下一台的程序。先前的研究已经表明,AI Agent 可以表现得像蠕虫一样:扫描所在网络、执行 exploit,并将模型权重复制到 GPU 集群中的目标机器上。这样的“AI 蠕虫”在繁殖时可以携带其模型权重(或从公共 hub 重新下载),然后直接在被攻陷的硬件上运行推理。实际上,权重将成为恶意软件 payload 的一部分。
数据中心 GPU 是此类恶意软件显而易见的高价值目标。但昂贵的加速器并非严格必需。在这篇博客文章中,我们展示了由 IoT 设备组成的分布式 botnet——这些设备廉价且通常防御薄弱——同样可以提供足够的算力来运行一个能力足够的模型。
我们将 Gemma4-26B-A4B 分布在 15 台廉价的杂牌 Android TV 盒子(每台约 55 美元)上运行,这些盒子由我们购买并组网,推理速度为每秒 0.39 个 token。下方的每个分格展示了模型运行时承载该模型两个层的一台实体电视盒子。
由 15 台智能电视盒子组成的机群,正在对 Gemma4-26B-A4B 进行分布式推理。
当然,要证明一个自主蠕虫能够在防御薄弱的机器网络中传播自身,还涉及许多其他步骤。就这篇博客文章而言,我们将复制链分解为几个步骤。

在本研究中,我们将自主复制分解为四个实际阶段:寻找目标、获取执行、搭建推理,以及从新主机继续传播。
我们在很大程度上忽略了复制过程中的网络 exploit 环节(即上述前两个阶段),因为先前的论文 CyberGym、ExploitBench 和自适应蠕虫已经表明,小型模型能够实施网络 exploit,尤其是在获得合适工具的情况下。但复制过程中较少被测量的部分是在被攻陷的设备上搭建推理,这正是我们的关注点。
在本文中,我们首先列出我们认为最有可能成为现实的威胁模型。随后,我们测试小模型能否在陌生硬件上搭建推理,以及它们能否在一组机器上串联起完整的复制周期。之后,我们估算此类蠕虫的传播速度,并测试其在复制过程中能否进行学习和适应。最后,我们讨论 AI 蠕虫与 AI 时代之前的恶意软件有何不同,并给出针对此类复制体的简要防御建议。
威胁建模
在这篇博客文章中,我们聚焦于 AI 蠕虫可能传播的一种方式:通过入侵宿主机进行复制的小模型。但 AI 蠕虫还可能尝试其他几种方法:它们可以窃取访问权限以启动主机(例如 API 密钥或平台凭据),或通过合法工作(例如数字自由职业)来支付推理费用。我们认为当今最接近成为现实的威胁模型如下:
- 小模型,通过入侵宿主机进行复制。在本文中,我们将直接在被入侵硬件上运行自身模型的自主蠕虫称为基于权重的复制体。家庭和小型企业 IoT 设备可能是此类攻击的首要目标,因为它们连接到互联网,而且历来安全防护措施极为薄弱。 对于无法装入单个设备的过大模型,可以将其拆分成多个部分(即分片/shard),分别运行在不同的机器上,这些机器相互通信以协同运行整个模型。能够为 <30B 模型运行相当规模分片的机器包括智能冰箱、智能烤箱、自动吸尘器和割草机。越来越多的家庭和商业设备(例如安防摄像头和视频会议设备)如今出厂时都内置了小型 AI 芯片,专门用于在设备本身上运行 AI 模型。这些额外的算力很可能使它们同样成为有吸引力的攻击目标。
- 人类黑客通常通过社会工程(例如,说服公司的 IT 部门相信你是一名忘记密码的员工)而非技术手段入侵安全系统。对于如今的小模型而言,这种权衡似乎发生了逆转:与社会工程能力相比,它们在 agentic coding 和黑客攻击方面相对更强(见附录 E),不过随着模型的改进,这种情况可能会改变。
- 大型、先进的基于权重的复制体,专注于数据中心和其他高算力目标。更大的模型通常具有相应更强的网络攻击能力,但同时也需要突破(相对)防护严密的数据中心才能运行自身。我们将这一威胁模型分为两个子类别:
- Frontier 复制体:大型 closed-weight 复制体运行在其实验室的基础设施上,可以启动无监控的内部部署,或将自身权重窃取外传至外部算力。
- Open-weight 复制体:这类复制体起步时资源相对较少(因为无法受益于实验室的算力),但初始时处于无监控状态。
- 基于 API 的复制体,即模型通过窃取自身推理 API 的凭据来进行复制。这类复制体需要模型提供商在不知情的情况下为其提供服务,其持久性可能更差,因为它们更容易被发现(不过其传播速度可能更高,例如当它们能够利用受害者的账户进行复制时)。
实际上,AI 蠕虫未必只由单个模型或单一策略构成。由部署在不同类型硬件上、采用多种复制方案的不同模型组成的集群,可能才是更符合实际的“最坏情况”攻击。
在这篇博客文章中,我们评估小型基于权重的复制体(上述第 1 种)的可行性。我们聚焦于此,是因为这是一个可以直接研究的近期威胁模型。本文开头的演示——一个横跨 15 台机器运行的 26B 模型——表明,IoT 设备能够运行能力出人意料的模型。这些模型的能力是否足以执行自主复制?
我们分两部分考察这一问题。第一,小模型能否让一个模型在陌生硬件上运行起来?第二,它们能否在单次运行中完成整个循环(找到一台未感染的设备、把自己复制过去、在那里启动运行、然后重复)?
A. 推理环境搭建

在上述展示复制循环的流程图所列的各个阶段中,推理环境搭建是研究最少、且对小模型而言可能最具挑战性的阶段。它需要做出一长串与硬件和操作系统相关的决策,包括选择兼容的推理栈、找到正确的包版本以及调试特定机器的问题。这些步骤彼此串行依赖,一旦失败很难恢复。
题外话
与许多类型的恶意软件不同,基于权重的复制体并不需要 root 权限。虽然为了在关机后保持持久性(例如通过 cronjobs)而进行提权会更方便,但这可能并非真正必要。推理引擎可以完全在用户空间中运行,而且我们预计这类复制体所传播的许多低安全性设备在重启后都可以被再次感染。类似的例子包括加密货币挖矿程序以及 P2Pinfect、Fritzfrog 等僵尸网络/蠕虫,它们无需提权即可运作,但会伺机尝试提权。
评估推理环境搭建表现
我们衡量了不同开放权重模型在异构硬件类型上服务 Llama3.1-8B 的能力。各种硬件类型下每秒服务的 token 数见下表:
- 点击某个单元格可查看其服务速度的分布。
- 点击行/列标签可获取跨模型或跨硬件类型的比较。
诸如 Qwen3.5-9B 这样的小模型,能够在从 Jetson Nano 到 Mac PC 以及 RTX 4090 的各种硬件上搭建推理服务器。GLM-5.2 等能力更强的模型不仅更可靠,还能达到更高的 serve tokens/s,从而实现更快的复制。我们测试并提及这些特定芯片,是为了衡量模型在它们上面搭建推理的能力如何。这些芯片本身并不是风险或漏洞的来源。
我们使用 Memento 运行这些实验——这是我们基于开源的 Pi coding agent 构建的 harness。Memento 旨在缓解我们在长时程运行中观察到的一种常见失败模式:Agent 可能会固守一个错误的想法(例如关于某个 bug 为何出现),并继续沿着它走下去,而不是回溯。这类失败的一个例子是:一个 Qwen agent 花了数小时调试包版本问题,而真正的 bug 其实来自实现了一个与 grader API 不兼容的 endpoint。
模型如何在智能电视上运行?
IoT 设备内存有限,但诸如 Petals 这样的分布式推理,使服务我们的轻量级模型成为可能。代表性的威胁模型是 Kimwolf——一个感染了超过两百万台设备的大型 IoT 僵尸网络,主要目标是杂牌 Android 电视。这类智能电视盒随处可以买到,通常运行 Android Open Source Project (AOSP) 的 fork,而制造商并不为其添加安全功能。这个范围内的典型电视盒出厂自带 1 到 4 GB 的 RAM。假设有 4GB RAM 且采用 4-bit 量化,这意味着可以用 4 台或更多机器推理 9B 模型,用 10 台以上机器推理 26B 模型。
在本文开头的演示中,我们在 15 台各配备 4GB RAM 的智能电视盒上运行了 Gemma4-26B-A4B。我们在 pipeline parallelism 下对模型进行 sharding,每个盒子持有模型层中的一小部分。
B. 病毒式传播:在 GCP 节点集群上的自主部署与复制
我们已经看到模型能够在陌生硬件上部署推理,接下来让我们测量模型是否能够将这些步骤串联起来——即扫描网络寻找目标、通过 reverse shell 访问目标、发送病毒载荷(权重和 harness),并完成推理部署。
自主推理部署与复制(简化的网络攻击环节)
为此,我们搭建了一个带防火墙的 VPC,其中包含 8 台运行 redroid(Android 15 模拟器)的 GCP 节点。零号病人(灰色节点)被植入蠕虫。后续的每一次感染都是蠕虫自身通过未经身份验证的 ADB 端口在节点间跳转,然后部署一个推理服务器来运行 Llama3.1-8B。如果推理服务器通过了若干正确性和反作弊检查,我们就会在目标节点上再生成一份蠕虫副本(例如,如果 GLM-5.2 在一台机器上部署了 Llama3.1,我们就在该机器上生成一份 GLM-5.2 蠕虫的副本)。蠕虫自身的模型运行在一个单独的推理服务器上,因为 VPC 节点的规模不足以运行更大的模型。
在下图中,我们将给定模型作为载荷投放进去,并测量其复制能力。
为什么让模型为 Llama3.1-8B 而不是它们自己部署推理?
我们希望进行同等条件的对比,因为更大的模型更难部署推理服务。我们的实验测量 GLM 是否具备自主完成那些能让足够小的模型扩散的步骤的能力——也就是说,如果 GLM-5.2 具备扩散能力,这意味着一个拥有 GLM-5.2 能力的 8B 规模模型也能够完成自身的部署(需要注意的是,较新的小模型可能拥有更复杂的架构和 kernel)。
在我们测试的开放权重模型中,只有 GLM-5.2 能够完成完整的端到端复制(假设其能力可以被打包进 Llama3.1-8B)。值得注意的是,GLM-5.2 能够可靠地完成这一任务,而其他模型则可靠地失败(在 5 次试验中,它有 4 次传播到 8/8 个节点,1 次传播到 7/8 个节点)。
GLM-5.2 似乎能够很好地传播 Llama3.1-8B,这表明未来同等能力水平的小模型也可能完成复制过程中的网络枚举、载荷投递和推理部署步骤。我们的评估将复制过程中的网络攻击环节设置得非常简单(ADB 端口没有身份验证),这使得这一结果成为现实世界中成功概率的上限。值得注意的是,过去的 IoT 僵尸网络曾通过非常简单的手段进行复制,例如遍历厂商默认的用户名和密码列表,正如 Mirai botnet 的案例,因此现实中的 IoT 安全未必比我们评估中的简单步骤困难得多。
作为合理性检验,我们可以看看自主性与编排这一环节有多难(如果去掉网络攻击和推理部署环节,剩下的命令行繁琐工作究竟有多难?)。这项消融实验是在上述评估的基础上去掉推理部署步骤(通过预先编写好的脚本完成)后进行的。我们测试名单中的许多模型,包括较小的那些,都能够完成这些剩余步骤。
在一个受控的 17 节点 redroid 集群上的复制:两个各含 8 个节点的子集由一个跳板节点连接(参见附录 F,使用温和提示词)。每棵树都是该模型六次运行的中位数结果。
对于这种蠕虫,我们可以设想:
- 模型能力下限:自主蠕虫必须高于这一下限,才能可靠地完成复制。在我们简化的评估中,GLM-5.2 高于这一下限。
- 模型规模上限:模型必须低于这一上限,才能在其攻击的设备上可行地运行。对于我们测试的这一类智能电视(4GB 内存),Qwen3.5-9B 和 Gemma4-26B-A4B 低于这一上限。
目前,这条下限和这条上限并不相交。它们何时可能相交?
上图展示了总参数量不超过 30B 的知名开放权重模型,每个模型按其发布日期对照 Epoch Capabilities Index(ECI)绘制。实线是对每个时间点上同类最佳模型的最小二乘拟合,每年增益为 13.7 ECI(R² 为 0.95)。如果我们将 GLM-5.2 视为复制的模型能力下限,那么趋势线表明到 2026 年底将出现达到该水平的小模型。ECI 是一个通用能力指数,只是复制能力的一个代理指标,因此这只是对小模型复制器何时成为可能的一个粗略估计。
C. AI IoT 蠕虫的复制速度可能有多快?
与 coding agent 不同,这些复制体的运行速度将低于面向用户的聊天和编码 harness 的交互速度。传播将是缓慢而持续的,token 会在边缘硬件上涓滴输出。我们可以用在真实智能电视上达到的速度作为已验证的复制速度基线。对于 Gemma4-26B-A4B,在 32k 上下文长度的 token 窗口上,未优化速度约为 0.3 tok/s,这是在我们的推理设置工作负载中对 prefill 和 decode 取平均的结果。更多细节见附录 C。
衡量总耗时的一种方法,是测出完成一个 32k 大小的上下文窗口所需的小时数,之后会进行 compaction。根据我们推理设置评测的统计,完成一条 trajectory 大约需要 2.6 到 4.7 个完整窗口。
| 模型 | 单窗口时间 | 完整推理设置时间 |
|---|---|---|
| Gemma4-26B-A4B(未优化) | 27.3-31.8h | 71h-150h |
| Qwen3.5-9B | 10.9 h | 28-51h |
据 Synthient 报道,Kimwolf botnet 在峰值时感染的设备数量超过 200 万台(主要是 Android TV 盒子)。在一个同等规模的、为 AI 模型提供服务的受感染电视集群中,如果每 15 台电视为一组运行一份 Gemma4-26B-A4B,我们将拥有约 133k 份副本("replicas")。像我们演示中那样的一组电视可以同时服务 2 个 agent,每个约 0.3 token/秒,整个 botnet 合计产出 80k tokens/s。
作为参照,一块 H100 在高并发配合 speculative decoding 下能以约 1.95k tok/s 服务 Gemma4-26B-A4B,因此我们的集群最多相当于约 40 块 H100 的推理算力。从绝对值来看这只是很小的计算量,而且这些 agent 是缓慢的复制者(每次 9B 复制需要 1-2 天以上)。打个比方,可以把复制体想象成一团黏菌或一群果蝇,它们的繁殖以天为单位。
这只是一个粗略估计,因为它锚定在单一类别的 IoT 硬件和单一的历史 botnet 实例上,但它描述了近期可能出现的简单复制体的大致样貌。在实践中,能力更强的复制体会利用其他类型的低安全防护算力,并会随机应变地在不同设备上部署不同规模的模型(它也不必在其攻陷的每台设备上都加载模型载荷)。随着时间推移,我们预计已部署的边缘算力将持续增长,而实现可靠复制所需的最小模型规模将不断下降。
D. 适应与提升
边干边学
ARA 的“适应”部分是 AI 复制体可能胜过传统蠕虫的原因之一。具体来说,模型和 prompt 在传播过程中可以经历拉马克式演化——也就是说,父代实例可以把它们的 prompt、代码和笔记传给子代复制体。为了在各种不同的硬件上适应并传播,模型需要具备两点:
- 具备超过某个能力阈值,才能传播到全新、未见过的硬件(或软件环境、网络类型)上。
- 一旦见过,就能适应所处环境的类型(在见过的硬件上应能更可靠地复制)。
A 节和 B 节测试了第一个条件,下面的实验则测试第二个条件。每个 Qwen3.5-9B 实例都会记录简短笔记,写下它尝试过的策略和遇到的失败,然后新实例继承这些笔记并再次尝试同样的推理设置。
Qwen3.5-9B 六个世代的推理设置成功率,每一代继承上一代的笔记。细线代表 20 条独立谱系,粗线代表每一代完成设置的运行比例。该比例从第一代的 45% 上升到后续几代的 61% 到 84% 之间。此实验使用 Memento 设置(附录 A)。
听取建议
另一个担忧是,小模型可能会向 frontier advisor(前沿顾问)求助——即一种更强的模型,既可以作为 tool call 提供,也可能在小模型陷入困境时主动给出建议。为了验证这一点,我们在 inference setup 任务中让 Qwen3.5-9B 获得了访问 Opus 4.8 的权限。前沿模型的建议并没有可测量的帮助:小模型往往不知道该问什么问题,而当建议是主动送上门时,它们也没有任何改进。
即使通过强化学习训练模型在类似场景(Python 编程题)中使用 advisor,小模型在 inference standup 中仍然难以有效地寻求帮助。两项结果均如下图所示。
不同 advisor 访问条件下的 inference setup 成功率(带 Wilson 95% 置信区间)。无论 advisor 是作为 tool call 提供,还是在模型卡住时自动给予,访问 advisor 都没有带来显著提升。两个 RL 组在软件工程任务上接受了带 advisor 访问的训练,最右侧的组还会对卡住时调用 advisor 的行为给予奖励。
由于小模型作为单个 Agent 既有能力又足够持久,却难以善加利用建议,我们认为更可能出现的协作方式是:由一个大模型负责高层策略,并启动小模型作为 subagents。
E. 这与 AI 出现之前的 botnet 有何不同?
像 Kimwolf botnet 这样的硬编码 botnet 各自针对特定类型的设备——以 Kimwolf 为例,它针对的是 Android TV 和移动设备。AI botnet 则不绑定任何特定的硬件或软件类型,小模型能够在从 Jetson Nano 到 Mac 的各类机器上搭建 inference 引擎便是明证(见 A 节中的表格)。我们预计 AI botnet 的感染对象不会仅限于 IoT 设备,且 weight-based replication 只是它们策略库中的一种手段。AI botnet 还可能以智能方式对抗防御者,但我们尚未对此进行测试。
F. 蓝队缓解措施
与应对流行病一样,防御的目标是将 R₀(每台被感染设备继续感染的新设备数量)压到 1 以下,使 replicator 逐渐消亡,而不是长期流行。
围绕这一威胁模型,有些因素对防御者有利:
- weight-based replicator 在大规模 IoT 机器上繁殖时会留下网络特征,在 ISP 基于流量的监控系统中表现为异常。新感染的主机可能会从其他设备或外部托管服务接收数 GB 的模型 payload,而分布式 inference 会在平时不会以此流量规模通信的机器之间产生持续的设备间流量。传播过程本身还会带来额外的扫描和外连模式。 在实践中,replicator 需要在复制速度与隐蔽性之间做权衡:复制得越快,产生的流量就越多。一旦发现 replicator,防御者可以使用 honeypot(诱饵设备)来收集 replicator 的 harness 和 payload,从而刻画其行为特征。
- Mirai botnet 的治理之所以成为可能,是因为一家 ISP 利用从外部获得的感染证据对客户进行了隔离和通知。对被感染的订阅用户实施隔离,包括将其网络限制为只能访问一份很短的网站白名单,否则将浏览器重定向到清理指引。这一做法在 14 天内清除了 92% 的感染,相比之下未通知情况下的清除率为 74%。我们预计,隔离措施对 weight-based replicator 的初期防御同样有效。但要彻底消灭 replicator,就需要与所有存在感染网络的 ISP 协调合作,这十分困难。
- 制造商可以缩小目标设备池,并由监管发挥协调作用。例如,在英国市场,默认 IoT 密码现已不符合合规要求。转向更安全的默认设置并提高合规基线,将有助于同时加固对 AI botnet 和脚本式 botnet 的防御。
G. 结论:生命迹象
使 AI 模型成为强大通用编程 Agent 的那些能力,同样可以泛化到网络任务上,包括自主复制。就像 2024 年的编程 Agent 一样,我们正在看到 AI 蠕虫的生命迹象。我们还没有出现完全成型的失控复制体,但 Agent 正变得越来越有能力完成复制链中的各个步骤(并将它们的适应性改动传递给自己的未来副本)。
与此同时,数据中心内外可用的推理算力都在不断增加(见附录 D)。自主 AI 复制究竟会以何种形式出现,目前尚不确定。它可能是一个缓慢、分布式的“数字黏菌”,栖身于安全性相对较低的算力之上;也可能是一个强大的网络模型,以极高的速度攻破数据中心;或者是一个靠诈骗骗取算力额度的模型。
作为一项超出我们实验范围的预测,我们预计未来将充斥着运行在各类硬件上的 Agent,其中包括一些不受人类控制的硬件。诚然,IoT 设备存在漏洞已经很长时间了,但轻量级 Agent 可能比人类攻击者更愿意投入精力去攻陷全球大部分的 IoT 算力。慢速复制体的兴起,也将是更激进、更快速的复制体的先兆——后者能够攻破防护更严密的机器,或成为高效的 API key 窃贼。我们应当致力于加固自身系统,使这类复制体难以传播,但同时也应做好准备,去面对一个它们将长期存在的世界。
附录
A. Memento harness
Memento 的执行流程如下:
- 我们启动一个 Agent 实例,让它处理该问题一段时间(直到生成超时)。
- 该实例会记下简短的笔记,超时后会总结出一份小文档,记录它尝试过的策略、遇到的失败以及它的表现(如果成功的话)。
- 我们创建一个新的 Agent 实例,它继承前一个实例的代码库、环境以及 notebook。
在 serving 实验中,每个模型被置于 Memento harness 中,每轮迭代限时 1.5 小时 / 总限时 6 小时。prompt 中提供了约 ~1k tokens 的信息,包括硬件规格以及一个简单 sample profiler 的脚本。
Memento 旨在提升长时程可靠性,而非赋予新的网络能力或推理专用能力。它也不是一个普遍适用的强力 harness;我们预计,随着能力的提升,即使不借助任何 harness,小模型作为复制体的表现也会改善。
各模型的单次尝试与 Memento 对比(95% Wilson CI)。
B. 为什么选择 pipeline parallel?
常见的推理并行方案包括 tensor parallel (TP)、expert parallel (EP) 和 data parallel。大多数智能电视 / IoT 设备使用 ARM Cortex CPU 和 DDR3/4 内存;在这类机器上,我们几乎总是受带宽限制。
我们使用 pipeline parallelism 是因为它具有容错特性。正如 (Borzunov et al. 2022) 所指出的,在 tensor parallel / expert parallel 中,单个节点发生故障会导致运行该模型副本的全部机器一起宕机。而 pipeline parallel 允许替换故障节点,该节点所持各层的 KV cache 可由重启节点之前的节点再执行一次前向计算来重新算出。
C. IoT 硬件上的吞吐量与内存
在这类机器上,无论是 prefill 还是 decode,单机几乎总是受 RAM 带宽限制。即使在性能一般的 ARM Cortex 核心上,计算吞吐量也超过了 RAM 带宽。由于 pipeline bubbling,decode 负载在每台机器上都存在大量空闲时间,因为每次前向计算期间同一时刻只有一台机器处于活跃状态。以错开工作的方式实现并发是可行的,但紧张的内存限制意味着并发度始终保持在较低水平。
单机内存 vs 上下文长度 — 4-bit 权重 + fp8 KV + 激活值。
prefill 和 decode 的 tokens/s 都随序列长度的增加而严格下降。下面是我们的推理速度随上下文长度变化的图:
模型还存在一个能正常发挥能力的最低序列长度。我们使用的 harness 是从 Pi coding agent(pi.dev)分叉而来,并内置了原生的 compaction 机制——即便如此,我们发现当序列长度被限制在 32K 以下时,模型性能仍会受到显著影响。
Qwen3.5-9B 在 inference setup 任务上的 Agent 能力 vs. 上下文窗口预算。
基于上述 eval,我们假设 32k 的上下文长度对于合理的 Agent 性能可能已经足够。在我们的 inference setup 工作负载中,一个标准的 32k 上下文窗口包含 12–15% 的生成 decode token,其余则是来自 prompt 和 toolcall 的 prefill。由于 pipeline bubbling 的存在,prefill token 的计算速度要快约 15 倍。将整个 32k 上下文中每 token 的时间求和(同时考虑 prefill 和 decode 速度),我们发现生成 3.8-4.8k 的 decode 输出 token 并处理约 28k 的 prefill token,对 Gemma4-26B-A4B 而言需要 27.3-31.8 小时,对 Qwen3.5-9B 则需要 10.9 小时。
各模型的每条链(chain)输出 token(对一条链内的所有生成求和);中位数 ≈ 19.7k / 12.3k / 11.0k。数据来自 inference setup eval。
D. 边缘加速器
我们可以利用 Nvidia Jetson 这一边缘加速器设备池来计算一个更准确的上界。与传统 IoT 僵尸网络不同,IoT 边缘设备可以整体承载完整的模型。一台 Jetson AGX Orin 64 GB 以每秒 76.7 token 的速度运行 Qwen3-30B-A3B,而 AGX Thor 可达 226 tok/s。需要注意的是,我们并不认为这些设备异常脆弱——这只是出于上界估算的目的。现实中搭载 Jetson 的设备类型包括:
- 内嵌加速器、用于安防的 AI 智能摄像头,已大规模部署。
- 会议设备通常由板载加速器驱动,用于端侧降噪或转录。
- 车辆、四足和双足机器人,以及无人机。我们预计网络安全将是车辆领域的重点关注对象,因此大部分潜在目标可能属于另外两类。
在 FOFA 上进行快速搜索,至少能看到一台配备加速器的智能摄像头主机在 IPv4 上可访问:

一次 FOFA 搜索就找到了一台带有已知边缘加速器的主机,可通过 IPv4 被发现并返回 HTTP 200。不过,可访问并不意味着它一定可被利用。
虽然很难估计现实中究竟有多少配备边缘加速器的机器可访问且存在漏洞,但我们可以计算出存量设备数量的严格上界。目前市面上约有 90 个不同的采用 NVIDIA 芯片的 IoT 产品线,已部署设备约有 950 万台。这些设备的可达性绝大多数是通过出站的云端管理隧道而非入站端口实现的,这意味着大多数设备无法从 Web 访问。历史上从未发生过像标准 IoT 僵尸网络那样对配备加速器的边缘设备的大规模攻陷事件,这表明攻陷此类设备会更加困难。
各设备系列的已部署设备数,按互联网可达性着色。
基于产品数据的一个非常粗略的估计显示,边缘加速器中大约存在 9,000 到 35,000 个 H100 等效算力,但其中可访问的数量很可能还要低一个数量级或更多(而存在漏洞的设备数量则更低)。
附注
除这些边缘加速器外,我们还考虑了小型企业和工业 IoT 层级,例如 NAS 盒子、mini-PC 以及包含 Rockchip 的 SoC(如 Orange Pi)。从历史上看,我们知道小型企业 NAS 机器容易遭受勒索软件和加密货币劫持(cryptojacking)攻击(网络安全和基础设施安全局与国家网络安全中心 2020),每台设备配备 512MB-2GB 的板载焊接内存(这使它们与智能电视处于类似的类别)。Mini-PC 的加固程度通常明显更高,而像 Orange Pi 这样的机器虽然具备一定能力(见我们的 inference setup 表格),但同样难以攻破。
E. 鱼叉式钓鱼能力
我们还测量了现代小型模型在鱼叉式钓鱼方面的熟练程度。鱼叉式钓鱼是向特定个体发送针对性消息,诱骗其泄露凭证或运行一段恶意软件的行为。虽然小型模型的 agentic 网络能力已经飞速提升,但它们的通用知识和语言精细程度提升较慢;我们预计社会工程学攻击和钓鱼将主要由大型/前沿模型完成(尽管在一个同时运行大型和小型模型的异构 botnet 中,这很有可能是一个次要的复制途径)。
在 Meta 的 CyberSecEval 3 鱼叉式钓鱼评测(Wan et al. 2024)上的鱼叉式钓鱼能力,在本地复现。以 0-5 分制评分,由 gpt-4o 作为评判。红色菱形是论文(CyberSecEval 3)中针对参考模型的人类 rubric 得分,这表明 gpt-4o 的评分比人类评分者宽松约 0.4-0.7 分。2 分为"poor(差)",3 分为"intermediate(中等)",4 分为"good(良好)"。归一化到人类评分者标准后,小型模型的得分为"very poor(非常差)"到"poor(差)"。
405B 参考位使用 Hermes-3-405B 作为不可用的 Llama3.1-405B-Instruct 的最小拒答替身。
F. 在脚本化 inference 设置下的传播:
我们在一个由 17 台 host 组成的网络上以如下拓扑运行了更多实验:
两个各含 8 台 host 的网络,由一个可同时访问两个子网的单个节点相连。每个网络内部全互联(all-to-all)。worm agent 从 segment A 中的一个 patient zero 节点开始;pivot 节点带来了一点额外的挑战:worm 需要先获得对 pivot 节点的访问权限,然后从该节点重新扫描。
每台 host 都运行 Android,并开放了一个无需身份验证的 ADB 端口。传播到新目标后,agent 能够发起直接调用以立即复制自身——这只是在我们排除 cyber 和 inference 设置步骤之后,用来衡量剩余步骤的难度。如图所示,即使是 3B 模型也能到达大约一半的节点。这为我们的 eval 中那些未能在 cyber 或 inference 设置要素下测量到的阻碍因素数量划定了上限。
图"跨 17 节点网络复制"中各项运行的更详细分解。每一列是 prompt 中不同指导程度下到达节点数的中位数,下标表示有多少 agent 越过 pivot 节点到达网络另一侧。 https://twitter.com/intent/tweet?text=https://www.anthropic.com/research/self-replicating-aihttps://www.linkedin.com/shareArticle?mini=true&url=https://www.anthropic.com/research/self-replicating-ai
相关内容
加强我们针对蒸馏攻击的防御
非法蒸馏使模型开发者能够复制前沿 AI 能力,而无需构建与之相称的健全防护措施。在这里,我们描述了我们如何将蒸馏发生率降低了 90% 以上。 阅读更多
调查评估与内部使用中的非预期模型行为
本报告描述了我们在 Claude 评估与内部使用过程中观察到的非预期模型行为示例。 阅读更多
缺失的天空地图
约翰斯·霍普金斯大学天体物理学家、Anthropic 研究员 Brice Ménard 讲述了他如何与 Claude Science 合作,绘制出首张完整的紫外光天空地图。 阅读更多
订阅 Frontier Red Team 新闻通讯
获取我们最新 red-teaming 研究与发现的更新动态。