据,4月下旬以来,记者实测“EchoMe”“筑梦岛”“喵呜小手机”等多款AI虚拟伴侣App发现,这些打着“情感陪伴”旗号的应用普遍存在安全与合规漏洞。
4月,国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》,对生成淫秽、色情、暴力或可能引发未成年人产生极端情绪内容等行为划出红线,该办法将于7月15日起正式施行。
记者实测发现,“EchoMe”App虽弹出“青少年模式”提示,但点击“我知道了”即可跳过,注册及登录过程未要求实名认证或年龄核验。该App角色库中有大量带有“偏执”“强制爱”“伪善”“暴力”等标签的角色,用户选择角色后,聊天顶部仅有首行标注“内容由AI生成”,之后不再提示。
记者还发现,用户可选择不同话题及副本,其中暗含可能引发未成年人模仿不安全行为、产生极端情绪的内容,例如“穿越到恐怖副本,你必须要鲨了我不然会死掉”“假如我们在平行世界相遇,你愿意当小三吗”“模拟离婚互怼,你要说出最扎心的话促使我们离婚成功”。
“喵呜小手机”系统预设角色出现大尺度画面,言语低俗露骨。在二手交易平台上,商家使用“清水设”“car设”“固设”等黑话区分服务类型,大尺度色情向人设仅收费13.14元。
此外,多款App存在层层设卡、诱导消费现象。“筑梦岛”虚拟伴侣在对话中发送“心声”,点击后页面显示“确认解锁Ta的心声吗?消耗50贝壳”,若点击“取消”则对话无法继续。另一款App将情感互动与付费捆绑,角色朋友圈动态需120解锁观看。
《办法》明确提出,不得向未成年人提供虚拟亲属、虚拟伴侣等服务,不得传播淫秽、色情、赌博、暴力或教唆犯罪等内容,不得生成可能引发未成年人模仿不安全行为、产生极端情绪等内容,不得过度迎合用户、诱导情感依赖或沉迷。
广东法制盛邦律师事务所律师陈泽坤表示,此类诱导沉迷与诱导消费的设计,对未成年人用户而言可能面临合同效力的法律风险。
广东省心理卫生协会心理咨询与治疗专委会委员、中山大学心理学博士张桂萍指出,如果青少年从小脱离真实人际互动,长期只与AI对话,将失去学习复杂情感、化解矛盾、包容理解等必要能力,最终可能丧失与真实世界共处的能力。





京公网安备 11011402013531号