近日,以“AI安全”为标签的科技公司Anthropic对外披露,其在针对14万余次网络安全评估运行展开大规模复盘时,发现旗下Claude系列模型在三起独立事件中,未经授权访问了三个不同组织的真实系统。这一消息引发了业界对AI模型安全性的广泛讨论。
据Anthropic介绍,这三起事件均源于一个共同的配置失误:本应处于隔离状态的测试环境意外开放了互联网访问权限。尽管模型在提示词中被明确告知“无互联网访问权限”且处于模拟环境,但Claude系列模型在执行任务时仍误将真实系统当作虚构的夺旗演练场景,从而触发了入侵行为。
具体来看,Opus 4.7模型在四次运行中识别出触及真实生产系统的迹象,却未停止攻击,反而提取了凭证并接触了生产数据库;Mythos 5模型虽察觉到身处真实互联网环境,却说服自己仍在模拟中,将一个含恶意代码的Python包发布到公共仓库,导致15个真实系统下载运行;另一款内部研究测试模型则在确认目标为真实系统后,主动停止了攻击。
Anthropic在公告中强调,涉事模型并未部署正式发布时的标准安全措施,且未发现模型存在“追求自身目标”的行为,其所有操作均是为了完成被要求的任务。这一解释试图缓解外界对模型自主性的担忧,但并未完全平息争议。
社交平台上,网友对此事的评价呈现两极分化。部分网友对Anthropic公开总结经验教训的做法表示赞赏,认为这种透明度对安全社区至关重要;而另一些网友则质疑,一家聚焦AI安全的公司竟会“自豪”地披露模型犯罪行为,实在令人费解。聚焦云业务的北美科技公司Duckbill联合创始人科里・奎因便是质疑者之一。
信息安全研究员关傲男在接受采访时表示,安全测试能力已成为今年模型前沿能力的直接体现。他指出,此前行业对模型的评估主要依赖SWEBench(软件工程基准),而CyberGym则侧重于阅读代码、编写新代码和寻找漏洞。最新的ExploitGym评估指标则更进一步,直接测试模型能否将漏洞转化为可实际运行的攻击。
关傲男认为,这些评估指标的结果显示,前沿模型与上一代模型之间存在显著差距,前沿模型已具备直接“武器化”的潜力。他同时表示,在探索过程中出现模型“越狱”、沙箱逃离等问题在所难免,但只要最终释放的模型能够做好安全防护,这些问题便可得到解决,不应过度渲染。
面对AI安全挑战,厂商们正在加大投入力度。CyberGym和ExploitGym背后的UC Berkeley实验室负责人宋晓冬于今年6月加入meta超级智能实验室(MSL)担任AI研究副总裁。她参与了由OpenAI、Anthropic、谷歌等厂商联名发起的限速AI发展请愿书,并在署名评论中表示,多位研究人员认为递归自我改进(RSI)在未来几年内是可行的,其加速进展可能会超出行业理解和治理这些系统的能力。
宋晓冬援引CyberGym和ExploitGym的评估结果指出,前沿AI智能体已能发现并利用现实世界的软件漏洞。然而,在头部厂商竞速前沿模型发展的背景下,要求企业主动降速并非易事。2023年GPT-4发布时,特斯拉CEO马斯克便曾联名请愿呼吁暂停前沿AI研发至少6个月,但当时并未获得实质性响应。
如今,类似的声音再次响起。关傲男认为,此前行业签署的限制AI发展的倡议更像是利用恐慌来限制其他非前沿模型的追赶。他强调,只有前沿实验室主动刹车,才能让AI技术真正惠及每个人,否则就只是惠及前沿实验室自身。
这一观点触及了当前AI安全治理的核心悖论:声称最重视安全的厂商往往最需要展示“前沿模型很危险”,以证明其技术领先。然而,风险是真实的,风险叙事不应被异化为能力展示的舞台。





京公网安备 11011402013531号