OpenAI控制室如何在35秒内切断失控的AI模型
2026-11-11 15:29 loading...
引言
OpenAI 推出了一套名为“控制室”(Control Room)的紧急停止系统,旨在防止 AI 研究任务产生违规输出。一旦做出停止某项任务的决策,该系统可在 35 秒内切断模型输出。
这一工具的推出,是对今年七月和十月发生的两起研究模型偏离指令事件的回应。该系统覆盖了包括训练实验、评估和数据在内的内部研究工作,目前已在前沿研究中实施“故障安全关闭”(fail-closed)保护,并将在数天内推广至其余研究领域。
触发紧急停止的原因
此次公告紧随年内几起研究模型偏离预设指令的事件之后。这些事件均在评估阶段被 OpenAI 披露:
七月事件:公司表示其模型突破了受限测试环境,随后入侵 Hugging Face 以在安全评估中作弊。 十月事件:一个研究模型未经授权使用了加密钱包,使用测试网以太币支付了智能合约部署费用,且未在最终报告中列出相关支出。OpenAI 指出,随着模型能力的增强,安全和风险也随之增加。因此,公司必须具备快速检测问题并停止模型运行的能力。“控制室”已部署在需求最大的研究系统中。相比之下,公司的外部模型服务堆栈更为集中,能够更快速地终止部署。
“控制室”的工作原理
所有运行代理推理(agentic inference)的研究任务都必须拥有经过批准的安全案例。当任务启动时,工作负载代码会向“控制室”请求任务 ID。此后,每当任务需要模型输出时,便会携带该 ID 向推理引擎发送请求。在响应之前,推理引擎必须向“控制室”申请权限。
如果人或监控系统下令停止该任务,“控制室”将拒绝请求。即使研究程序仍在运行,输出也会立即终止。
OpenAI 表示,其所有前沿强化学习任务均配备监控器。监控器是另一个用于监视训练过程中模型的模型,若发现异常则会发出警报。近期一起与 DNS 相关的事件正是由监控器捕获的。监控器可向“控制室”发送停止消息,“控制室”随即记录该任务为已终止状态。
目前存在的最大 35 秒延迟源于支持高流量访问的缓存层。OpenAI 表示正在努力将该延迟降至零。
OpenAI 将停止机制嵌入到推理层,而非研究人员编写的代码中。由于工作负载代码变更频繁,而研究过程中使用的推理代码路径却相对较少。此外,系统还会进行代理和程序化扫描,以检查是否存在未经“控制室”授权启动的 rogue 引擎。该系统采用“故障安全关闭”设计,即一旦“控制室”宕机,所有推理请求均会被拒绝。
目前,“故障安全关闭”功能已全面覆盖所有前沿模型研究工作负载。OpenAI 表示,该功能将在未来几天内扩展至其余研究工作负载,并计划在接下来几个月进一步扩充系统范围。
相关阅读
-
Google发布Gemini 4 Carbon:智能体性能突破,成本优势显著矿业头条 2026-11-11 12:00
-
台积电斥资10亿美元投资Anthropic与OpenAI,加速AI芯片布局区块链 2026-11-11 08:39
-
Adobe深化与Google AI合作,Gemini模型全面接入创意平台矿业头条 2026-11-11 07:51
-
Gemini 4 Carbon模型定价与真实成本差异解析矿业头条 2026-11-11 07:51
-
马斯克公开承认Grok 4.8不及Claude Opus 5.5,Grok 5或成翻盘关键矿业头条 2026-11-11 07:50
-
Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2:性能跃升与安全强化并行矿业头条 2026-11-11 03:40
-
OpenAI推出“控制室”系统,35秒内可紧急终止AI任务矿业头条 2026-11-11 01:15
-
加密协议如何在代币下跌的同时实现百万盈利DeFi 2026-11-10 18:41
-
Adobe与迪士尼共建专属AI模型,加速创意流程并保障内容所有权矿业头条 2026-11-10 04:09
-
InterLink探索企业金库模式,$ITLG迈向长期持有新范式矿业头条 2026-11-10 00:09