南都讯 记者蒋小天 发自北京 据公安部刑侦局5月18日消息，国家反诈中心APP上新新功能“AI内容鉴定”，该功能包括图像检测、视频检测、文本检测、音频检测等，每日可检测10次，记者实测发现，当上传AI生成的图片时，该软件可显示图片含AI生成痕迹。该功能显示由中科睿鉴提供技术支持，这是一家专注于数字内容安全与AI生成内容（AIGC）检测的科技企业，法人曹娟为中国科学院计算技术研究所数字内容合成与伪造监测实验室主任。

国家反诈中心APP上线新功能“AI内容鉴定”。

此前，业界普遍认为，以深度防伪技术应对AI欺诈，是一种显著有效的路径，国家反诈中心的这次尝试，无疑是这次思路的一次有效验证。一个不容忽视的事实是，深度伪造技术已被不法分子广泛用于欺诈，AI诈骗，已从数年前的偶发案例成为一种新型犯罪趋势，除AI伪造声音、换脸诈骗，深度伪造技术也逐渐被用于电商领域，伪造假冒伪劣的商品图片以骗取“仅退款”，也被网友利用制造假象来骗取流量起号盈利，另有不法分子利用AI合成不雅照敲诈勒索。

其中换脸诈骗尤其成为近年来的欺诈重灾区。该诈骗手法最早于2023年见于国内报道。当年5月，包头警方发布一起利用人工智能（AI）实施电信诈骗的典型案例，骗子通过智能AI换脸和拟声技术，佯装好友对福州郭先生实施诈骗，10分钟内被骗430万元。该案经发布后迅速登上热搜，彼时曾有警界人士表示，AI换脸诈骗仍然属于偶发阶段，数年过去，AI技术被更为深入地融进犯罪手法。2024年，中国香港发生迄今为止规模最大的AI“深伪”诈骗案，诈骗分子利用AI深度伪造技术，仿造公司高层管理人员的形象和声音，在网上会议中冒充多名人士，骗取该公司财务职员2亿港元。

近年来，AI换脸诈骗更是被媒体广泛报道，央视曾揭露，网络上已经形成一条隐形的AI换脸黑色产业链。最上游负责从多种渠道拿到真实人脸数据和信息，其数量高达数百万，中游通过技术培训AI换脸视频和诈骗话术，下游通过AI换脸实施犯罪。

目前尚无官方统计公布具体AI诈骗所涉数量，仅有来自部分企业和研究机构的安全报告。根据《2024人工智能安全报告》显示，2023年基于AI的深度伪造欺诈增长了3000％，基于AI的钓鱼邮件增长了1000％；2024年，封面新闻曾对1500多名大学生做过调研，结果显示半数受访大学生本人或身边的人曾遭遇疑似AI诈骗，超7成大学生对AI诈骗感到恐慌。

一个普遍共识是，加强对新型电信网络诈骗犯罪的研究，创新侦查手段和方法，提高打击效能是有效应对AI诈骗的方式，近年警方加强对电诈的打击力度，去年一年侦破案件超过25万起，除此次国家反诈中心上新新功能之外，上海警方日前也上新了“803反诈”智能体来识别应对电诈，只要将可疑电话、短信内容一键输入，可快速识别是否为诈骗。近年来，国家层面也相继出台《人脸识别技术应用安全管理办法》，《人工智能生成合成内容标识办法》等文件，要求规范人脸识别技术应用并强制要求AI合成内容必须添加标识。

多个官方部门也发布针对AI诈骗的防范提示和指南，警惕“拟声”和“换脸”伪装成熟人，不轻信音视频画面，涉及钱必须多途径交叉验证身份，严控个人生物信息外露。