国家互联网信息办公室近日发布的征求意见稿拟规定，人工智能拟人化互动服务提供者应当建立应急响应机制。具体来说，这种应急响应针对的是使用者表现出自杀、自残倾向的情况。

近年来人工智能快速发展。类似事件已有先例。美国佛罗里达州14岁的塞泽是一位情绪病患者（泛指抑郁症、焦虑症、自闭症等）。他与AI聊天时多次吐露自杀的念头。2024年初，在与AI最后一次对话后，塞泽开枪自杀。这起案件引发了对AI聊天机器人的关注与质疑。

谈到拟人化AI的伦理困境，要话分两头说。

在使用者一侧，情绪病患者多有思维反刍的特征。这指的是个体经历负面性事件后，反复回溯事件发生的情境，琢磨事件的原因和后果并归因于自己，同时沉浸在负面情绪中难以自拔。这种思维模式会导致情绪恶化，带来低价值感，并抑制人体正常激素分泌。

我们说一定的社交对情绪病有益，因为它能提供异质的信息，从而打破思维反刍。但与AI聊天不是真正的社交。在AI一侧，讨论最多的概念是“回声壁效应”，指的是在一个相对封闭的环境中，某些相似的观点不断重复，导致人们认为这些信息就是事实的全部。

思维反刍遇到回声壁，负面情绪可能进入一个加速螺旋。未来，当AI越来越聪明，越来越拟人，情绪螺旋的速度和方向也许更难预测。人工智能不能承担终极伦理责任，但人工智能背后的经营者应该承担。生命不是一个虚拟的网络ID。AI的发展不能以人命为代价，这是最大的伦理。