前DeepMind研究人员警告：随着超级智能超越安全研究，人工智能可能毁灭人类

币安Binance

币安交易所是全球加密货币交易所龙头，在手机上即可买卖比特币等数字货币！

官网注册  APP下载

前Google DeepMind安全研究员警告：AI可能危及人类生存

另一位前实验室研究人员认为，严重危害可能在五年内出现。

核心要点

Chughtai于7月离开DeepMind，并表示超级智能可能在未来几年内出现。他指出，对齐研究落后于能力增长，他支持协调放缓而非停止AI发展。前DeepMind研究员Josh Engels认为，五年内存在巨大危害的风险，而Anthropic和OpenAI的高管也支持放缓发展的呼吁。

Chughtai的AI警告

Chughtai是一名专注于通用人工智能安全和对齐的研究工程师，他于7月离开DeepMind，并于本周发布了他的警告。他表示，AI实验室可能在未来几年内构建出超级智能系统，这些系统可能在各个领域超越人类，同时仍难以与人类目标保持一致。

Chughtai表示，核心问题在于“对齐”（alignment）。他写道：“我真诚地相信，AI有可能导致全人类的毁灭，而我们可能正在耗尽避免这一结果的时间。”

他说，目前训练先进系统以可靠追求人类目标的方法仍然“极其原始”，而前沿能力的提升速度远远快于研究人员对于“对齐”理解的深化。他并不希望停止AI的发展。相反，Chughtai希望公司之间能够协调行动，减缓竞争步伐，并提高关于前沿系统如何构建和测试的透明度。

Anthropic的安全推动

Chughtai的警告紧随Jacob Coxon本月早些时候辞职之后。Coxon曾在Anthropic和OpenAI工作过三年。Anthropic的对齐科学主管Evan Hubinger随后表示，他认为在未来十年内，AI可能导致全人类毁灭的概率超过10%。

Engels也曾参与DeepMind的安全团队工作。他在9月12日表示，在拒绝了Anthropic和OpenAI的报价后，他加入了评估非营利组织METR，原因是他认为五年内出现巨大AI危害的可能性令人“恐惧”。

Anthropic首席执行官Dario Amodei曾敦促公司控制能力提升的速度，OpenAI首席执行官Sam Altman也在争论扩大到主要实验室时表达了类似立场。这一共识意义重大，因为现在的警告不仅来自离职的安全研究人员，还来自运营主要AI实验室的高管。

目前的警报标志着自2022年初以来的快速转变。当时Chughtai开始从事AI相关工作，并将当时的系统描述为远不如今天的前沿模型强大。在过去的四年里，辩论已从长期的安全理论转向对自主性、对齐以及安全研究能否跟上能力提升速度的具体担忧。