Anthropic携手埃森哲启动重大AI安全倡议

核心要点

Anthropic 任命埃森哲为其人工智能安全倡议的首个嵌入式评估机构。双方将在模型测试、红队行动、对齐验证和安全保障验证方面展开合作。每家公司计划在五年内投入至少10亿美元，合计承诺资金达20亿美元。该安排为非独家合作，允许 Anthropic 引入更多的评估机构。此举源于首席执行官 Dario Amodei 提出的减缓人工智能发展步伐并建立牢固安全措施的战略愿景。

Anthropic 已指定埃森哲（Accenture）为其首个嵌入式评估机构，这标志着公司在落实首席执行官 Dario Amodei 关于更审慎推进人工智能发展的愿景方面迈出了具体一步。

我们与埃森哲合作，对前沿人工智能进行独立评估，这也是我们近期在 Anthropic 内部嵌入评估机构的承诺的一部分。我们和埃森哲都预计在未来五年内在此领域投入至少10亿美元以构建相关能力。

此次合作将涵盖全面的模型评估活动、对抗性测试演练、对齐验证程序以及严格的安全保障评估。据 Anthropic 称，这一合作伙伴关系是其更大战略的组成部分，旨在将独立的评估实体更深入地整合到人工智能开发工作流中。

实施人工智能发展减速战略

9月12日，Amodei 公布了一项三阶段提案，倡导以更稳健的方式推进人工智能发展，同时加强安全基础设施。他的论点集中在人工智能能力提升速度加快这一现象上，部分原因是先进系统在创建后续人工智能世代中发挥了作用。 Amodei 表示担忧，这种加速可能会超出研究人员和监管机构有效理解或管理的能力。他战略的第一阶段强调授予独立评估机构与内部公司人员相当的访问权限。在正式确立与埃森哲的合作之前，Anthropic 此前曾承诺采用这一框架。 该组织确认，埃森哲及其人工智能部门 Faculty 将与 Anthropic 的内部团队及现有的安全合作伙伴并肩工作。他们的职责包括漏洞评估、验证系统行为是否符合预期目标，以及验证安全机制的性能。Anthropic 承认，鉴于这种方法的初创性质，嵌入式评估实践的具体细节仍在开发中。

20亿美元的联合财务承诺

Anthropic 和埃森哲均预计，在接下来的五年时间里，各自将分配不少于10亿美元的资金。这将导致 projected 总投资额至少达到20亿美元。 Anthropic 承认，目前缺乏为独立人工智能评估服务建立的融资基础设施。该公司表示，其认为可持续的长期资金来源最终应来自行业集体贡献或政府资源。在此期间，由于对这些安全举措紧迫性的认知，Anthropic 打算直接资助埃森哲的活动。 该协议保持非独家结构。Anthropic 表示，有关更多嵌入式评估机构的公告将在未来几周内发布。埃森哲将利用其此前收购的人工智能企业 Faculty 的能力来支持此项合作。Faculty 在测试和评估人工智能系统方面拥有经证实的经验，服务对象包括知名研究机构，项目经验涵盖政府、国防、医疗和关键基础设施领域。 埃森哲首席执行官 Julie Sweet 将嵌入式评估形容为可能成为人工智能安全协议的基本组成部分。 此公告是在行业对 Amodei 的减速提案做出不同反应之后发布的。OpenAI 首席执行官 Sam Altman 和 Elon Musk 对该概念表示支持，而英伟达首席执行官 Jensen Huang 则认为限制人工智能发展的监管措施是不必要的。 Anthropic 与埃森哲的合作现在使 Amodei 战略的初始部分得以操作化，该组织正准备纳入更多的独立评估机构。