OpenAI借助AI红队强化GPT-5.6抵御提示注入攻击

币安Binance

币安交易所是全球加密货币交易所龙头，在手机上即可买卖比特币等数字货币！

官网注册  APP下载

OpenAI 推出自动化安全测试系统 GPT-Red

OpenAI 发布了一款名为 GPT-Red 的自动化人工智能系统，旨在检测其语言模型中的安全漏洞。该系统名称源自网络安全领域的“红队测试”——一种在攻击者利用漏洞之前，主动尝试破坏系统以识别弱点的实践方法。

在周三发布的博文中，OpenAI 表示，该工具帮助 GPT-5.6 在部署前增强了抵御提示注入攻击的能力。“随着模型能力的提升，安全性与一致性也必须同步发展，”OpenAI 在社交媒体上写道，“红队测试至关重要，但目前的方法难以规模化，形成了关键瓶颈。GPT-Red 正是我们解决这一问题的方式之一。”

GPT-Red 的工作原理与训练方法

据 OpenAI 介绍，GPT-Red 通过自我对弈强化学习进行训练，能够生成越来越强大的提示注入攻击，同时防御模型学会抵抗这些攻击。公司表示，这些攻击被纳入 GPT-5.6 的训练过程。报告显示，GPT-Red 在内部评估场景中的成功率达 84%，而同一测试中人类红队成员的成功率仅为 13%。

“GPT-Red 通过对抗性自我对弈进行学习，其目标是提示注入各种具有挑战性的防御模型，”OpenAI 写道，“GPT-Red 发现的每一次成功攻击都会被用来改进这些防御模型，从而推动 GPT-Red 持续寻找更广泛、更复杂的缺陷。”

实际案例：操纵自动售货机代理

在一项案例研究中，OpenAI 表示，该系统成功操纵了一个自主售货机代理，使其降低价格、订购折扣库存，并在漏洞被披露和修复之前取消了另一位客户的订单。

背景与行业趋势

GPT-Red 是 OpenAI 在 ChatGPT 公开发布后多年来网络安全工作的一部分。2023 年，该公司启动了 OpenAI 红队测试网络，招募外部网络安全研究人员和领域专家，在发布前对 ChatGPT 及其他模型进行安全漏洞探测。GPT-Red 在此基础上进一步自动化了大部分流程，利用 AI 模型生成提示注入攻击及其他对抗性测试，其规模远超人类研究人员单独完成的能力。

OpenAI 的这一公告反映出一种更广泛的趋势：利用人工智能来保障人工智能的安全。本月初，以太坊基金会表示，已部署 AI 代理对关键网络基础设施进行红队测试，并在以太坊共识客户端使用的软件中发现了一个漏洞。研究人员指出，AI 代理能够比人类搜索更大的代码库，但挑战已从发现潜在漏洞转向证明哪些漏洞是可利用的。

据 OpenAI 透露，GPT-Red 将保持为内部工具，因为它包含特意开发的攻击性能力。“我们相信，借助 GPT-Red，我们已开始解锁类似的安防飞轮效应——今天使用的模型可以用来让明天的模型更坚固、更一致、更可信，”OpenAI 表示。