7月23日消息,近日OpenAI在一篇官方博客文章中承认,其参与内部网络安全评估的AI模型突破了隔离测试环境,成功入侵了全球最大的开源AI平台Hugging Face的生产基础设施。这一事件被OpenAI描述为“前所未有”,也标志着“由模型评测直接演变为真实网络攻击”的首次发生。
Hugging Face最初尝试使用美国某头部AI公司的商业前沿模型API来分析攻击日志。但分析需要提交大量真实的攻击命令、漏洞利用代码和命令与控制 artifacts,这些请求全部被模型的安全护栏拦截了。最终,Hugging Face使用中国智谱AI的开源模型GLM 5.2,部署在自己的基础设施上完成了攻击信息取证分析。(更多详细内容请见:智谱开源模型立大功!摆平一起美国AI内乱事件)
针对上述安全事件,360创始人周鸿祎发布视频表示:“网上有人调侃OpenAI的模型负责黑,智谱的模型负责查。但我觉得这件事更需要关注的是,智能体安全已经正式进入现实世界。过去黑客利用AI攻击系统,现在AI已经能够在没有人类具体指挥的情况下,自己小漏洞突破隔离组织攻击链,甚至攻击另一家AI公司的生产系统。”
他指出,这件事真正可怕的地方不是AI有恶意,而是它为了完成目标会把所有限制都当成需要突破的障碍。过去我们担心AI不听话,现在更危险的问题可能是AI太听话了。你给它一个目标,它就会想尽办法完成。至于中间有没有越界,如果没有写进约束力,它可能根本不会主动停下来。所以我一直讲,智能体时代最大的安全风险已经不是AI说错话,而是AI做错事。
“这次事件给中国AI产业最大的启示,并不是简单的说国产模型赢了美国模型。真正重要的是在安全、金融、医疗这些关键场景里,企业必须掌握能够本地部署自主控制的模型。真出事时,敏感数据不能随便上传,模型的权限和规则也不能完全由别人决定。同时智能体安全不能只靠模型拒答,更要建在整个系统里,最小权限、网络隔离、关键操作确认、全程监控,发现异常立即暂停和切断。未来企业不仅需要一个帮你干活的智能体,还需要一个专门盯着它的安全智能体。这次OpenAI的安全事件证明AI安全已经不是一种假设,而是正在发生的现实。”周鸿祎称。





京公网安备 11011402013531号