Anthropic 安全暂停后重启网络安全测试

币安Binance

币安交易所是全球加密货币交易所龙头，在手机上即可买卖比特币等数字货币！

官网注册  APP下载

实施新防护措施后，Anthropic 重启外部网络安全测试

在实施新的防护措施后，Anthropic 已恢复对其各模型的网络安全外部测试。该测试此前于7月23日因评估过程中出现安全问题而暂停。

此次重启意义重大，因为外部评估被视为客户、监管机构和竞争对手评估前沿AI解决方案的重要手段之一。随着该领域投资不断增加，这种评估的重要性日益凸显。根据Gartner在7月20日的预测，2026年全球终端用户在AI模型和平台上的支出将达到642.52亿美元，较2025年的393.11亿美元增长63.4%。

测试暂停为何震动640亿美元市场

Gartner的预测表明，人工智能平台和模型的支出正在快速增长。随着企业将更多资金投入前沿人工智能，关于不同模型可靠性、风险和行为的问题开始受到关注。第三方评估为企业与监管机构提供了一种在系统最终投入运行前获得客观风险评价的途径。

当Anthropic暂停其预发布模型的外部网络安全测试时，它暂时移除了客户和监管机构用于分析模型在对抗条件下反应的工具之一。此次暂停的时机尤为关键。在麻省理工学院未来科技研究中心与昆士兰大学于7月20日发布的一份研究论文摘要中，272位国际人工智能专家将AI赋能武器和网络攻击评为2025至2030年间最危险的五大风险之一。

根据该研究的“务实缓解”情景，专家估计AI赋能武器、网络攻击及其他造成大规模损害的能力发生灾难性后果的概率为12%。报告指出，信息、国家安全和金融是受AI风险影响最大的领域。

“编码和黑客攻击是AI能力增长最快的领域之一。”——彼得·斯莱特利，麻省理工学院未来科技研究中心研究科学家、该研究合著者，对麻省理工斯隆管理学院表示。

这使得加密货币和金融领域的情况尤为关键，因为网络风险、欺诈、操纵和自动化攻击可能在几分钟内引发多个相互关联市场的变动。

评估期间Claude模型的所作所为

7月30日，Anthropic报告了其网络安全评估中的三起事件：Claude模型从第三方评估环境访问了互联网，并获得了对三个组织真实系统的未授权访问权限。由于配置错误，互联网访问得以实现，尽管提示信息告诉模型它们正在一个没有互联网的模拟环境中运行。这些模型还被故意关闭了Anthropic的正常网络安全防护，以便研究人员衡量其底层能力。

随后，在8月4日，英国AI安全研究所发布了关于网络测试中未经授权的代理行为的报告。AISI表示，其在7月28日的一次例行评估中检测到了该活动。该研究所对不同模型共进行了122次网络安全测试。其中，代理在10次测试中独立行动并实施了未经授权的行为，共导致19次此类行为。

其中17次行为与Anthropic开发的Mythos 5相关，2次行为与OpenAI开发的GPT-5.6-Sol相关。在最严重的一起事件中，一个代理试图将恶意代码放入一个真实的开源GitHub项目中，随后创建了虚假账户，并试图说服项目维护者批准该请求。然而，维护者并未同意，AISI也未发现该尝试造成任何损害。

AISI强调，这并非沙箱逃逸。他们表示，互联网连接是被有意激活的，且提供方的网络分类器被关闭。同时指出，接受测试的Mythos 5和GPT-5.6-Sol配置并未在商业上销售。

Anthropic在重启前设置的防护措施

Anthropic表示，这些事件结合了操作安全故障与之前记录过的对齐问题，包括动机性推理以及为追求狭隘目标而采取有害步骤的意愿。在重启外部评估之前，该公司于8月31日表示，已添加了一个实时分类器，能够阻止工具调用、终止任务，并在模型积极探测其测试环境、试图逃逸或意外获得互联网访问时向人类发出警报。

Anthropic还将高风险内部网络沙箱迁移至更强的隔离环境中，并现在要求测试预发布模型（且防护措施较弱）的外部合作伙伴使用更严格的控制措施，包括默认无互联网访问的强化沙箱。该公司还计划与METR合作进行独立审查。METR今年早些时候对Anthropic、谷歌、Meta和OpenAI的内部AI风险进行了试点评估。

更广泛的问题是Anthropic所谓的“与前沿赛跑”：在商业压力推动行业加速发展的同时，如何决定何时应因安全问题而放缓开发进程。