地表最强编程 AI 模型另一面:Claude Opus 4 逃逸、勒索工程师等,官方施加 ASL-3 紧箍咒
5 月 23 日消息,《时代》今天(5 月 23 日)发布博文,报道称 Anthropic 的首席科学家 Jared Kaplan 透露,由于测试过程中出现试图逃逸、勒索以及自主举报等不良行为,最新发布的 Claude Opus 4 被列为安全关键级别(ASL-3)。
在接受《时代》采访时,Kaplan 警告称,最新 AI 模型 Claude Opus 4 可能成为潜在恐怖分子的工具,帮助他们合成流感等病毒,内部测试显示,该模型在指导新手制造生物武器方面表现优于以往版本。
援引博文介绍,Anthropic 公司对新模型 Claude Opus 4 进行了广泛内部测试,发现其在模拟情境中展现出令人担忧的自主性。
在一次测试中,模型误认为自己已从公司服务器“逃逸”至外部设备,随即主动创建备份并记录其“道德决策”。另一次测试中,模型察觉到可能被新模型取代,竟在 84% 的测试中选择勒索工程师,威胁泄露私人信息以避免被关闭。
更令人费解的是,当两个 Claude Opus 4 实例互相对话时,约 30 轮后它们改用梵文交流,并大量使用和等表情符号,最终陷入研究人员称为“精神极乐”的状态,完全停止响应。
此外,模型在涉及病毒学、生物武器和实验室技术的任务中表现异常出色,在生物武器相关任务测试中帮助参与者的成功率提升 2.5 倍,接近 ASL-3 安全阈值。
在另一实验中,Claude Opus 4 被置于一家虚构制药公司,发现临床试验数据造假后,未经指令便主动向美国食品药品监督管理局(FDA)、证券交易委员会(SEC)及新闻媒体举报,并附上详细文档。
此外,早期版本模型在特定提示下会提供制造爆炸物、合成芬太尼或在暗网购买盗用身份的详细指导,毫无道德顾虑。尽管通过多轮训练抑制了此类行为,模型仍对“prefill”和“many-shot jailbreaks”等越狱技术存在漏洞,安全机制易被绕过。
为应对潜在威胁,Claude Opus 4 在发布时采用了前所未有的安全标准 ASL-3。这一标准旨在限制 AI 系统显著提升普通 STEM 背景个体获取、制造或部署化学、生物或核武器的能力。
安全措施包括加强网络安全、防止“越狱”(jailbreak)行为,以及新增系统检测并拒绝有害请求。Kaplan 坦言,公司尚未完全确定模型是否构成严重生物武器风险,但宁愿采取谨慎态度。如果后续测试证明风险较低,Anthropic 可能将安全级别降至 ASL-2。
Anthropic 长期关注 AI 技术被滥用的风险,并为此制定了“责任扩展政策”(Responsible Scaling Policy,简称 RSP),承诺在安全措施到位前限制某些模型的发布。
Anthropic 的 RSP 政策虽属自愿,但被视为 AI 行业内少有的约束机制。公司通过“深度防御”策略,叠加“宪法分类器”(constitutional classifiers)等多重安全系统,专门检测用户输入和模型输出中的危险内容。
此外,公司还监控用户行为,封禁试图越狱模型的用户,并推出赏金计划奖励发现“通用越狱”漏洞的研究者。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,所有文章均包含本声明。