本文来自微信公众号： HavenlonLabs ，作者：HavenlonLabs

AI不会因为犯错而失去任何东西。当越来越多的行动经由它进入现实,文明真正的风险不是机器觉醒,而是责任蒸发。

引子:第一件会参与决定如何使用自己的工具

人类很早就学会了造工具。石器延长手臂,车轮延长脚步,文字延长记忆,蒸汽机延长力量。

但过去所有的工具都共享一个特征:它们放大人的能力,却从不取代人作为行动者的位置。

刀不会自己决定刺向哪里。汽车不会自己决定开往何处。印刷机不会自己挑选传播哪一种思想。工具可以造成后果,但在工具背后,总有一个发出意图、推动行动、并可以被追问的人。

AI正在改写这条延续了几万年的关系。它不再只是等待一条确定的指令,而是能理解目标、拆解任务、选择路径、调用工具,并根据环境继续行动。

人类第一次造出了一种会参与决定如何使用自己的工具。

这让AI看起来越来越像一个行动者。但它又不是。

它能制造结果,却不承受结果。它能解释责任,却不生活在责任里。它可以生成一段无懈可击的道歉,却不会因为自己做过的事失去自由、财产、职位、关系或者未来。

所以AI时代最锋利的问题,可能并不是机器是否拥有意识。而是:

当行动可以脱离行动者,责任还依附在谁身上?

一、文明有两个世界,过去连接它们的一直是人

《人类简史》提出过一个影响深远的判断:人类之所以能大规模协作,是因为我们能共同相信一些自然界中并不存在的秩序。

国家不等于那块土地,公司不等于办公楼加员工,货币不等于一张纸,法律也不等于一排文字。它们之所以有力量,是因为足够多的人共同承认它们,并按它们行动。

但共同相信本身不产生秩序。只有当想象中的规则穿过制度、组织和人的行动,最终改变现实,它才成为秩序。合同必须被履行,裁决必须被执行,承诺必须变成行为,禁令必须真的能阻止某些事发生。

文明不只存在于人们相信什么,更存在于这些相信最终允许什么发生。

于是文明始终有两个世界。一个是由语言、法律、货币和制度构成的意义世界,规定什么应该发生;另一个是由资金转移、身体行动、机器运转和真实损失构成的物理世界,决定什么已经发生。

在人类历史的绝大部分时间里,连接这两个世界的通道,只有一种材料:人。

现在,这条通道里出现了第二种材料。

二、责任的本质,是不许行动与行动者彻底分离

我们为什么要追问责任?

并不只是为了惩罚。责任真正承担的功能,是把一个已经发生的结果,重新连回它的来源。

医生误诊,我们追问他的专业义务。管理者批准了危险决策,我们追问他的判断依据。司机撞了人,我们追问他当时在做什么。

这背后是一种非常朴素的直觉:

行动不应该成为没有主人的孤儿。

一件事既然发生了,就应该能沿着因果链找到某个可以回答"为什么"的主体。这个主体未必造成了全部结果——他可能被制度、命令、信息和环境裹挟——但他至少身处行动链之内,无法完全站到行动之外。

人类当然一直在逃避责任。组织把它推给流程,管理者推给下属,下属推给命令,技术团队推给系统。但即便如此,我们始终默认:在这条链条的某个位置,应该存在一个可以被追问的人。

这正是法律、伦理和公司治理长期成立的地基。制度从不假设人永远善良,它只是竭力让权力、行动与后果保持连接:有权力的人应当知道自己可能面对后果,做决定的人应当知道名字会留在记录上,执行命令的人也不能仅凭"我只是照做"就自动免责。

正是这种切不断的联系,让行动保持了重量。

三、AI让"无主的行动"第一次成为可能

传统软件不会解释自己的目标,也不会自主挑选路径。它把人的决定转成稳定的结果。即便出错,归因也相对直接:需求谁提的,代码谁写的,配置谁改的,按钮谁点的。

Agent打断了这条线性链。

人给出的不再是一条清晰指令,而往往只是一个目标:提高转化率、降低运营成本、筛出最合适的候选人、优化库存、处理异常账户、完成一次系统迁移。

至于用什么手段、调什么工具、走哪些步骤,由AI自行规划。在这个过程中,人的意图被翻译、拆分、补全,最终凝结成一连串真实动作。

每一次翻译,都在增加距离。

提出目标的人,不知道最后执行了哪些具体动作。部署模型的人,不知道模型会遭遇怎样的上下文。写工具的人,不知道工具会被如何组合。点确认的人,只看到了一段AI生成的摘要。

结果是:每个人都参与了行动,却没有任何一个人完整拥有这个行动。

AI最大的制度冲击,不是它开始像人一样思考,而是它让"没有任何人完整做出过的决定",也能真实发生。

这是一种全新的责任结构。过去,一个坏结果通常来自一个做错事的人;未来,坏结果更可能来自一条没有任何单一主体完整理解过的执行链。

事情出问题时,每个人都能精准指出自己没有决定的那一部分。管理者只提了目标,模型只生成了方案,系统只完成了调用,审批人只确认了摘要,供应商只提供了能力。

行动真实发生,责任却像雾一样散开。

四、关键不是AI没有感情,而是它不活在后果里

人们习惯说,机器与人的区别在于机器没有情感。这个说法不算错,但它没有击中制度层面的要害。

因为许多重要行动本来就不依赖情感。会计核对账目不需要热爱发票,工程师关停危险设备不需要同情设备,法官作出裁决更不能凭个人情绪。

文明并不是靠情感维系的。它依赖的是:人被放置在一套责任关系之中。

人会失去职位,会被处罚,会被别人记住,会因为自己的决定改变往后的人生。即便一个人毫无同理心,他依然会畏惧法律、声誉和现实后果。

AI不是这样。它能精确描述一次错误将造成多大损失,但这段描述不会变成它自己的恐惧。它能生成道歉,但道歉不改变它的处境。它可以被关闭、替换、回滚,却不会以人的方式理解"失去"。

人受责任约束,不只是因为人理解规则,而是因为人也生活在规则的后果里。

AI可以处在因果链中,却不处在道德后果中。它可以是执行的原因,却无法自然成为责任的终点。

所以真正的问题不是AI缺少情感。而是人类正在把越来越多的行动,交给一个不会因为这些行动而改变自身命运的系统。

五、当"我做了"变成"系统做了"

语言会悄悄改变人对责任的体感。

过去人们说:我批准了这笔付款。我拒绝了这个申请。我改了这项配置。我删了这批数据。

AI进入组织之后,句式变了:系统自动处理了。模型判断不符合条件。算法调整了参数。Agent执行了任务。

这些说法未必在撒谎,但它们制造了一种心理距离。行动明明源自人类设定的目标、授予的权限和搭建的系统,却开始被描述成一种技术现象——像下雨、断电、设备老化一样,自然发生,无人可怨。

当人类把动词交给机器,人类也开始丢掉动词背后的主语。

这不是修辞问题。英国邮政的Horizon系统就是一个代价惨重的注脚:1999年之后的十几年里,数百名加盟店长因为系统显示的账目缺口被起诉,有人破产,有人入狱,有人自杀。系统出错了,而在长达二十年的时间里,几乎所有人的说法都是——账目是系统算出来的。

荷兰税务部门的育儿补贴风波是另一个版本:一套用于识别欺诈风险的自动化系统,把两万多个家庭错误标记为骗补,追讨巨额款项,大量家庭因此破产、离婚、失去子女抚养权。2021年1月,内阁集体辞职。事后回看,没有哪一个官员"决定"要摧毁这些家庭。系统做的。

系统"拒绝"了一个人,算法"淘汰"了一名员工,模型"判定"了一笔交易——但它们不会出庭解释自己相信什么,不会面对被拒绝者的目光,也不会在很多年以后想起自己做过的这个决定。

因此,AI时代最危险的变化,也许不是机器获得了人的权力,而是人类开始借机器的名义,行使一种看上去没有主人的权力。

六、行动越来越轻,后果一点没变轻

技术史本质上是一部持续降低行动成本的历史。机器降低生产成本,互联网降低传播成本,云计算降低算力成本,AI正在降低判断、规划与执行的成本。

过去十个人干几天的活,以后可能是一个人带几个Agent几分钟完成。这确实是巨大的生产力。

但行动成本下降,不等于后果成本同步下降。

一笔错误付款不会因为由AI发出就不再错误。一次错误拒绝不会因为出自算法就不再伤害具体的人。一个危险配置不会因为执行更快就破坏力更小。

恰恰相反。执行越便宜,错误越容易被规模化复制。

过去一个人的偏见影响身边几十个人;当偏见被写进自动系统,它可以影响几十万个陌生人。过去管理员的误操作要一项项手动完成;现在一句模糊指令可以在多个系统里连续扩散。2010年5月的美股闪崩,道指在几分钟内蒸发近千点,人类交易员来不及做任何事——那还只是算法交易的年代。

技术降低了行动的重量,却没有降低现实承受行动的重量。

于是形成一种彻底的不对称:发出行动的人越来越轻松,承受结果的人依然真实;执行越来越抽象,损失依然具体。

这也是为什么AI风险不能被简化成准确率问题。当模型只是回答问题,错误停留在语言层面;当模型开始执行,语言就越过屏幕,变成账目、权限、资源、机会,甚至一个人的身体处境。

从模型能够执行的那一刻起,AI就不再只是知识工具,它成了现实的分配机制。

七、不要把文明押注在机器的善意上

人类社会从来没有因为相信掌权者永远善良,就放弃制度。

我们立法,不是因为所有人都会犯法;做审计,不是因为所有人都会造假;设制衡,也不是因为所有权力都必然被滥用。制度的意义恰恰在于承认:任何行动者都可能犯错,任何权力都可能偏移,任何意图在进入现实的路上都可能变形。

面对AI,很多人的第一反应是把模型训练得更善良、更诚实、更对齐人类价值。这些工作当然重要,但文明不能只依赖一个系统愿意服从。

因为服从是一种内部状态。它可能随上下文变化、模型升级、提示词注入、数据污染或目标冲突而改变。今天成立,明天未必。

成熟的制度不要求权力永远善良,它确保权力即使失去善意,也无法无限抵达现实。

这正是AI时代需要重新理解的"边界"。边界不是对智能的否定;恰恰因为智能足够强大,边界才必须独立于智能之外存在。

AI可以提方案、找路径、加速协作。但某些行动能否真正发生,不能只取决于AI当时的判断——否则人类等于把制度交给了一种无法被责任约束的能力。

八、复杂性,正在成为一种新型免责装置

围绕AI的公共讨论,总是很快滑向宏大问题:机器会不会成为真正的主体?它有没有意识?会不会拥有权利?

这些问题也许终有一天要回答。但在那一天到来之前,一个远为现实的问题已经摆在每家公司面前:

当AI参与了行动,这个行动在制度上属于谁?

属于提出目标的人?部署模型的企业?设计系统的工程师?最后点确认的人?还是提供基础模型的平台?

2018年那起自动驾驶测试车致死事故给出了一个耐人寻味的答案:最终被刑事追责的,是车上那位分神的安全员;公司层面未被追究刑责。责任沿着链条一路下滑,最后落在链条上最末端、也最容易被识别的那个人身上。

这不是一个能简单归因的问题。但不能简单归因,不等于可以无人负责。

技术越复杂,越需要人为地重新建立责任连接。否则复杂性本身就会变成一台免责机器:每个人只负责局部,每个人只掌握部分信息,每个人都能证明自己没有完整控制结果——而结果早已无法撤回。

复杂系统最大的诱惑,是让每一个人都显得无辜,却让现实承担全部后果。

所以AI时代需要的,不是虚构一个"机器责任人",而是重新设计人的责任。

九、责任地图:六个必须写上名字的位置

这听起来像技术治理,实质仍是最古老的政治与伦理问题:权力如何被限制,行动如何被归属,后果如何被承担。落到一家具体的企业,它可以变成一张必须填满的表。

在任何一个高风险的AI执行链上,以下六个位置都必须有一个具体的人或岗位署名——不能是"团队",不能是"系统",更不能是空白:

这张表填不满,自动化就不该上线。

能不能追责,不该由事故来回答。它应该在系统上线之前,就已经被写下来。

尾声:从共同想象,到共同承担

《人类简史》讲的是人类如何依靠共同想象,把互不相识的陌生人组织成国家、公司与市场。

但任何想象出来的秩序要想持续存在,都不能只靠人们相信它。它还必须让行动有归属,让权力受约束,让后果被追问。

AI的挑战在于,它正在进入想象与现实之间的那条唯一通道。它接收人的语言,理解制度的目标,然后调用工具,把抽象规则变成具体结果。它正在成为文明的执行中介。

如果这个中介只拥有行动能力,却不处在任何责任关系之中,人类就必须在它之外建立更强的约束。否则我们会走进一个非常古怪的时代:

每一个结果都有完整的数据记录,却找不到真正负责的人。每一个动作都通过了系统授权,却没有人完整理解它为什么发生。每一个参与者都尽职完成了自己那一小段,而整体结果违背了所有人的初衷。

这不是机器反叛,甚至不需要机器怀有恶意。

真正危险的不是AI产生了自己的意志,而是人类的意志经过AI之后,再也找不到原来的主人。

责任不是一种可以训练出来的语言能力。它来自主体与后果之间那条切不断的关系。机器可以被要求解释,系统可以被要求记录,执行可以被要求验证,但最终承担的,只能是人,和由人建立的组织。

人类不能因为行动经过了机器,就当它不再属于任何人;也不能因为系统足够复杂,就默认责任天然消失。

文明的下一步,不是让机器拥有行动能力,而是让人类在机器行动之后,依然无法逃离责任。

本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 tougao@huxiu.com。

本文来自虎嗅，原文链接：https://www.huxiu.com/article/4878140.html?f=wyxwapp