当前位置: 首页 » 资讯 » 科技头条 » 正文

Anthropic CEO又发长文:1-2年内迎来高阶AI,影响力堪比核武器

IP属地 中国·北京 智东西 时间:2026-06-11 22:16:25


智东西
编译 刘煜
编辑 陈骏达

智东西6月11日消息,今天,Anthropic联合创始人兼CEO Dario Amodei(达里奥·阿莫迪)发表题为《Policy on the AI Exponential(论AI的指数级发展及其政策应对)》的长文称,其高度确信,数年之内,AI重塑全球格局的影响力将堪比核武器改写地缘政治格局。同时,Amodei深度剖析AI指数化发展的现状,并阐明当下全球亟需采取的联合行动。


Amodei称谈到,AI领域的Scaling laws预言,只要算力不断增长,AI的通用认知能力就会呈指数级提升。倘若该趋势再延续一到两年,我们或将迎来Powerful AI(高阶AI),也就是“一座数据中心内汇聚万千天才”的形态。

但AI会带来诸多安全风险,受制于当下的现实困境,Amodei透露,包括Anthropic在内的众多安全领域倡导者正提倡:相关信息公开立法、芯片出口管制以及统计AI对就业市场影响的数据等。

Amodei还称,由Mythos级模型引发的网络安全风险只是开始。未来AI可能被用于研发威胁数百万生命的生物武器,届时顶尖AI威胁的不再只是公共安全,而是全人类的存续。

针对这些安全风险,他建议,研发前沿AI模型的企业,必须建立完善的安全规范以保护模型权重,同时定期开展红队演练与渗透测试,并配合政府抵御高级别网络威胁。

Amodei认为,如果AI在绝大多数脑力工作上全面超越人类,借助AI加速科研、技术迭代与运营提效的能力,经济有望迎来高速、稳定的增长。而AI自主迭代、打造更强AI的能力,还会进一步放大这一增长动能。

但相较于历次技术变革,AI对人类脑力劳动的替代范围更广、迭代速度更快。由此Amodei推断,AI对就业市场的冲击,会远超以往历次技术革命,且影响更具持久性。

除此之外,Amodei还提出,数据中心可能推高能源价格,AI企业应当承担电价上涨带来的成本,而Anthropic也已就此作出了公开承诺。

在该文章发出的同时,Anthropic同步推出了两套方案。该公司为此投入了相应资金,其中,2亿美元(约合人民币13.6亿元)用于研究框架,1.5亿美元(约合人民币10.2亿元)投向设立奖学金。

文章的核心要点包括:

1、AI发展速度已远超政府监管速度:Amodei拿《指环王》中的霍比特人与Treebeard(树须)做比喻,称当前最大的风险,不是没有监管AI,而是监管永远慢半拍。

2、AI已进入国家战略级风险阶段:AI已经从普通技术,演变成具有地缘政治影响力的战略资源。

3、透明度监管已经不够:曾经AI带来的风险尚不清晰,不宜过早制定硬性规则,而现在风险已经显现,AI治理应从“企业自律”转向“政府强监管”。

4、未来顶级AI可能像“核材料”一样被管理:Amodei提出AI监管升级路线,包括更严格许可制度、更高等级国家监管以及国际协调控制。当AI足够强大时,其治理逻辑将更接近核武器,而非互联网产品。

5、AI将催生“个人独角兽”时代:AI能让个人创办市值数十亿美元的企业。目前已出现仅靠数人团队、依托AI实现年收入数亿美元的真实案例。

6、AI时代最大的经济挑战:这一挑战不是经济增长不足,而是分配失衡。

7、医疗监管体系尚未跟上AI医疗创新:现行药审体系基于“候选药物大概率无效”的保守预设,若不改革,AI带来的医疗创新浪潮将导致审批机制严重拥堵或超负荷。

8、否认有关AI的舆论争议只是公关问题:Amodei完全不认同这种看法。他认为民众产生担忧,是因为民众真切察觉到AI风险的真实性,并非AI企业高管的态度不够乐观。

以下是对这篇长文的编译:

一、现有监管举措明显滞后,前沿模型暴露多重安全威胁

在《指环王》的一个支线故事中,两个霍比特人试图唤醒Treebeard,来保卫自己的森林免遭军队破坏,他是一棵睿智但行动缓慢的有意识树。

但问题在于,Treebeard的行动速度与霍比特人完全不同。他仅仅和另一棵树打声招呼,就要耗费整整一天,因此要让他和他的同伴迅速采取行动几乎是不可能的。

AI与我们的政治机构之间的关系,有点像霍比特人与树胡的关系。AI发展速度极快,仅仅四年时间,AI模型就从几乎无法写出一行连贯代码,发展到能为主要AI公司撰写大部分代码。在生物学、物理学、数学、金融、法律、翻译以及其他许多领域,AI也取得了类似进展。

AI领域的Scaling laws预言,只要算力不断增长,AI的通用认知能力就会呈指数级提升。这一规律如今已有十余年实际数据作为支撑。倘若该趋势再延续一到两年,我们或将迎来我所说的Powerful AI,也就是“一座数据中心内汇聚万千天才”的形态。

与之相对,政策、尤其是立法工作推进得极为缓慢。这一现象往往事出有因。政府手握巨大权力,行事审慎通常是明智之举,但两者节奏的严重脱节却令人忧心。

美国国会走完立法流程往往需要数年时间,而在这段时间里,AI可能就从新奇的娱乐工具,演变为真正意义上“汇聚万千天才”的强大系统。

自AI成为主流商用技术以来的数年间,我们这群主张对其进行合规治理的人一直陷入两难境地。

我们能清晰预判指数化发展的走向。我们高度确信,数年之内,AI将成为少数能够彻底重塑全球政策环境的技术之一。其影响力堪比核武器改写地缘政治格局,亦如同工业革命颠覆所有经济与社会议题。

但在最初,仅从AI展现出的能力来看,它不过是一项平平无奇的技术,和当下热门的消费类应用、加密货币相差无几。想要说服绝大多数政策制定者与企业摒弃自由放任的监管思路,绝非易事。

客观而言,由于AI的颠覆性影响尚未显现,且其最终形态难以预判,即便各方有心出台监管政策,也很难制定出精准有效的规则。

受制于当下的现实困境,包括Anthropic在内的众多安全领域倡导者,目前主要倡导:保留政策调整空间,为未来快速应对风险做好铺垫,同时帮助全球各界提前洞悉潜在趋势。

这一具体方向包括相关信息公开立法、芯片出口管制、统计AI对就业市场影响的数据等。这些举措远远不够,但已是现阶段力所能及的全部选择。

然而在过去数月,AI超强的能力与潜在风险已然不容辩驳。最具代表性的案例便是Claude Mythos Preview。这类前沿大模型暴露出切实的网络安全风险,有可能扰乱金融体系、关键基础设施运转乃至国家安全秩序。

Mythos Preview改变了全球网络安全格局。而其更深层的意义在于,它无可辩驳地证明,如今的AI模型已然成为具备全球与国家战略影响力的工具。由Mythos级别模型引发的网络安全风险,绝不会是我们需要应对的最后一类威胁。

我认为,生物安全风险或将接踵而至,而严峻的AI自主失控风险也已近在眼前

如今,全球各国必须联合行动,启动这套运转迟缓、体系庞杂的政策机制,去应对即将加速蔓延的机遇与风险。

越来越多政策制定者愿意主动采取行动,同行们也逐渐认同我们多年来秉持的主张,这一点令人倍感振奋。但我仍心存顾虑,因为当下出台的初步举措,相比AI的飞速发展,至少滞后了一年。

本文旨在弥补这一差距:剖析AI指数化发展的现状,并阐明当下全球亟需采取的联合行动。

本文围绕AI时代亟需重新规划的政策领域展开论述,包括监管与公共安全、宏观经济与税收政策、科技创新。

由于Anthropic是一家美国企业,本文主要以美国政策为探讨对象,但文中大部分建议同样适用于世界其他地区。

伴随本文发布,Anthropic同步推出一份针对前沿模型测试的立法提案,以及一套应对岗位流失问题的政策框架,我们计划为此投入大量资金推进落地(2亿美元用于研究,1.5亿美元投向设立奖学金)。未来我们还将推出更多举措,而这两项内容,是我们展现治理决心的第一步。

二、PowerfulAI或将等同核材料,监管需转向强制约束模式

任何一项新技术、新产品都兼具利弊,创新发展与安全管控之间的矛盾始终存在。对产品实施监管能够降低危害风险,长久以来为改善全球民生发挥了重要作用,但同时也会直接削减技术本身的价值,还会间接打击创新积极性。

奥地利学派经济学家弗里德里希・奥古斯特・哈耶克( F.A. Hayek)提出过一个观点:监管机构往往缺乏足够信息,难以在复杂的经济权衡中做出正确决策,这就导致监管措施时常收效甚微,还会徒增行业负担。

与之相关的Collingridge dilemma(科林里奇困境)指出,一项技术的负面影响,往往要等到问题难以管控之时才会彻底显现。

2023至2024年,上述矛盾在AI领域表现得尤为突出。Anthropic早已预判,未来AI有可能被用于研发威胁数百万人生命的生物武器,或是出现自主失控行为,极端情况下甚至会危及全人类生存。

但那时风险的具体表现形式、有效的风险检测与缓解方案、实际演化路径都尚不明确。倘若仓促立法,极有可能收效甚微。这些法规可能最终无法有效应对风险,还会制造无意义或低价值的合规要求,同时遗漏真正关键的风险来源。

这一问题并非理论假设。我们在Responsible Scaling Policy等企业自主治理框架中,已多次遇到类似情况。

如果为未来AI模型制定固定、僵化的安全要求,极有可能出现这样的局面:95%的合规精力耗费在影响微小的条款上,而真正重大的风险源头,却完全不在预设清单之内。

企业自主规则可以灵活调整,但立法修改流程十分繁琐。针对2024年加州SB 1047法案(旨在防范极端风险),我曾先后发布两封公开信阐述矛盾态度,原因正是上述困境。

综合考量后,我们认为当时(2023至2024年)最合理的方案是推行透明度监管

AI模型研发方必须公开自身的安全管控流程、模型测试细则,并及时上报所有重大安全事故,让公众与科研界能够实时掌握风险动态。待风险形态进一步明晰、特征愈发明确后,依托透明度监管积累的信息,再制定精准的专项法规,直击核心风险。

基于这一思路,2025年Anthropic积极推动透明度相关立法,助力加州SB 53法案、纽约州RAISE法案、伊利诺伊州SB315法案(2026年初落地)相继通过,同时也在联邦层面倡导建立统一的透明度标准。

时至今日,各类风险已然浮出水面。监管不能再止步于透明度要求,必须针对AI推出更严格、具备强制约束力的规则。结合当前AI指数化发展阶段来看,最贴切的参照对象是汽车、飞机、药品,这类技术是现代经济运转的基石,可一旦设计或使用不当,便会造成大规模人员伤亡。

因此我认为,AI监管可参照FAA(美国联邦航空管理局)的模式。前沿AI模型如同飞机,必须经过专业技术检测与审计;若安全标准不达标,为保障公共安全,相关模型的上线部署应当被叫停或撤销。

特朗普政府近期发布的行政令,逐步强化了政府在AI监管中的职能,对此我表示认可,而Anthropic的提案则主张进一步加大监管力度。我们的提案包含以下要点:

算力超过指定阈值的AI模型,必须由具备资质的第三方机构开展强制风险检测,检测聚焦四大领域:网络安全、生物武器、AI系统失控以及可能加剧上述三类风险的自动化研发行为。

若第三方评估判定模型存在不可接受的风险,政府有权阻止或叫停其部署。该权力仅适用于上述四大风险范畴,同时需设置保障机制,杜绝政策偏袒与主观武断的决策。

第三方评估主体可选择两类:一是类似FAA的政府专职机构;二是经政府授权、常态化接受督查的民间机构,采用监管市场化模式开展评测工作。

研发前沿AI模型的企业,必须建立完善的安全规范以保护模型权重;定期开展红队演练与渗透测试;并配合政府抵御高级别网络威胁。

上述四大核心领域内发生的安全事故,必须第一时间上报。

或许在不远的将来,我们需要采取更进一步的监管手段。届时Powerful AI系统的属性将不再等同于飞机、汽车,而是更偏向可被用作武器的核材料,它们威胁的不再只是公共安全,而是全人类的存续。

一旦走到这一步,现行监管方案便会显得力度不足,需要推出更为强硬的管控措施。举例而言,极端生物安全风险的管控难度远高于网络安全风险。防御方天然处于劣势,且灾难造成的破坏程度也更为惨重。

不过正如2024年难以落地如今这套监管规则一样,我们也不必超前布局。政策制定应立足当下已显现的风险,同时搭建完善体系,确保未来新风险出现时,能够快速升级应对举措。

三、Powerful AI打破经济旧范式,超高增速与就业冲击同步到来

长期以来,各国政府始终面临一项难题,即如何在拉动经济增长的同时,完善公共服务、保障弱势群体权益。

相关讨论中存在一个主流且大体成立的共识,那就是经济增长本身十分脆弱、来之不易。想要缩小贫富差距,往往就要承受加税或财政赤字带来的经济下行压力,二者难以兼得。

我认为,Powerful AI或将颠覆这一固有认知。如果AI在绝大多数脑力工作上全面超越人类,借助其加速科研、技术迭代与运营提效的能力,经济有望迎来高速、稳定的增长。而AI自主迭代、打造更强AI的能力,还会进一步放大这一增长动能。

但与此同时,相较于以往所有技术,AI对人类脑力劳动的替代范围更广,技术变革的节奏也更快。由此可以推断,AI对就业市场的冲击,会远超以往历次技术革命,且影响更具持久性。

我们或将陷入一种困境:经济高速增长与贫富急剧分化并行,而这种局面一旦形成,便很难扭转。在这样的背景下,政策的核心目标不再是刺激增长,而是让全社会共享发展红利

在本文探讨的所有议题中,AI引发的宏观经济变化与长期岗位流失问题,受到的社会关注最多,也滋生了最多误解。在此我明确阐明两个核心观点:

第一,长期性岗位流失绝非理想局面,更存在诸多隐患,我们必须尽全力减少、规避这一问题,而非放任其发生。

我在采访与文章中多次提及岗位流失风险,是希望政策制定者与市场主体提前适应、主动应对,并非刻意扮演“末日预言家”

作为企业,Anthropic始终携手客户挖掘AI全新应用场景、开拓营收渠道,助力企业依托现有团队提升效能,而非单纯削减人力成本压缩开支。我们也持续探索全新人机协作模式,确保在AI不断进化的过程中,人类始终占据核心协作位置。

放眼整个社会,各行各业都应积极尝试AI新用法,以此催生全新就业形态。不可否认,AI将创造大量全新经济机遇。我曾预判,AI能让个人创办市值数十亿美元的企业,如今已有小型团队依靠AI打造出营收数亿美元的公司。

但我们必须正视现实:即便各方全力应对,AI依旧有可能造成大规模、长期性失业。从本质来看,这是因为该技术全面复刻了人类的认知能力。

第二,任何应对AI驱动的就业取代,都需要保障民众基本经济收入,更要帮助人们找寻生活的意义、目标与自主价值。后者归根结底更为重要,它涉及社会架构、人生追求、美好生活定义等深层议题。

我始终保持乐观,即便未来AI在所有领域都超越人类,人类依旧可以拥有充实的人生,创造震撼人心的美好事物。举例来说,如今人们仍然把毕生精力奉献给国际象棋、围棋或者爬山,尽管机器本可以做得更好,但依旧有人钻研这些领域,从业者也始终受人尊敬。

但这类议题需要全社会共同探索,并非政策能够直接解决。政策能发挥的最大作用,是为社会探索争取时间:延缓失业潮到来,并为受影响人群提供经济保障。

基于上述思路,以下几项政策举措具备一定现实价值:

首先是数据统计与动态追踪。很多人认为单纯的数据收集分析无法匹配问题规模,但脱离真实数据,就不可能制定出有效政策。

Anthropic已持续一年半追踪用户使用Claude的经济数据,而政府掌握着企业无法获取的海量信息,应当扩充经济统计维度,精细化追踪AI对就业的冲击。

其次是就业扶持激励政策。多项鼓励就业的政策可以缓解失业问题,例如,薪资保险政策、留岗税收优惠(鼓励企业减少裁员)、职业技能培训补贴、搭建用工对接平台以加快劳动力市场适配。

薪资保险的核心作用则是当员工接受降薪转岗时,保险会补足新旧岗位的薪资差额,以此激励民众主动转型、开启新的职业道路,即便短期内需要承受阵痛。

具体方案需结合AI引发失业的实际形态而定。即便这类政策会增加成本、带来一定市场低效,也应当推行,因为AI带来的生产力提升,足以抵消这些负面影响。

再者是长期宏观经济保障。如果AI引发大规模长期失业、市场劳动力需求持续萎缩,仅靠短期激励政策远远不够,需要为大量劳动者建立长期收入保障机制。

全民基本收入可通过向相关企业征税、提高资本利得税等方式筹措资金,全民资本账户也是可行方案之一。总体而言,AI驱动的经济高速增长,能够为全民共享繁荣提供税收基础。

我之前没提到的AI经济关注的一个常见焦点是数据中心,尤其是它们可能推高能源价格。我的观点是,AI企业应当承担电价上涨带来的成本,Anthropic也已就此作出公开承诺。而公众对数据中心的抵触情绪,本质上是全社会对AI相关经济问题焦虑情绪的外化。

各国必须直面这些深层经济议题,并拿出切实可行的解决方案,否则民众的负面情绪还会借由其他载体爆发。

四、AI将全面提速医药研发,但漫长药审流程恐堵截医疗创新成果

我们既要平衡AI自身发展与安全的关系,也要应对AI赋能下其他技术(生物医疗、能源、材料科学等)带来的同类矛盾。

AI自身带来的风险全新且演变迅速,人类尚无成熟应对经验,而被AI加速发展的各类传统领域,则面临另一种困境:现有监管体系诞生于创新节奏缓慢的时代,无法承接AI催生的海量新技术、新成果。

同时,AI能够大幅提升下游技术的安全性与可预测性,这也与FDA(美国食品药品监督管理局)等监管机构一贯的严谨预设相悖。

因此对于AI的下游应用领域,我更担忧监管体系拖慢创新步伐(监管无法适配技术迭代速度),而非监管缺位引发风险。我们绝不能让AI的价值潜力被束缚,却任由其风险不断累积,相关改革刻不容缓。

不同科技、商业领域面临的问题与解决方案各有差异,本文选取生物医疗创新作为典型展开分析。一方面,AI有望在医疗领域创造巨大民生福祉;另一方面,该领域的监管体系也最为复杂。

目前我们虽无法预判AI重塑生物医疗的全部细节,但可能出现的趋势包括:

新药候选物进入监管流程的速度将显著提高;依托技术优化与生物学机理深度解析,新药疗效将更强、安全性会更高;为前所未治愈的疾病开发药物候选物;催生出全新治疗手段,如同过去数十年间抗体、多肽、细胞疗法逐步成为主流治疗方案一般。

部分技术进步可自然缩短审批周期,无需重构监管体系。疗效更显著的药物,可开展规模更小、成本更低的临床试验,适用加速审批通道。但现有监管体系的设计逻辑偏保守,默认候选药物大概率疗效不佳,或是存在严重安全隐患,因此设置了多层级、高标准的审查流程。

目前,一款新药走完FDA与EMA(欧洲药品管理局)的全审批流程,平均耗时7至8年,这在一定程度上正是源于上述保守预设。若监管体系不改革,AI带来的医疗创新浪潮将导致现有审批机制拥堵或超负荷。

当然,改革绝不等于放宽标准,我们要杜绝劣质药物流入市场、避免大规模安全事故。但一系列适度改革,就能让FDA、EMA等机构适配AI驱动的医疗高速发展。

以往需要高昂成本、漫长周期开展的临床实验环节,未来可借助AI模拟与数据分析完成。监管机构应当提前制定标准,认可这类新型技术手段。待技术成熟后便可直接落地,无需继续沿用老旧的硬性测试要求。可落地的场景包括:

基于AI的PD和PK(药效学与药代动力学)建模分析;毒性预测技术,减少多物种动物毒性实验;精准剂量测算,缩减临床试验的剂量梯度测试环节;依托大数据分析完成生物标志物验证;临床试验采用虚拟对照组,减少受试者招募数量;研发替代终点指标(对于衰老、神经退行性疾病领域尤为重要)。

除上述具体举措外,监管机构还应探索更灵活、更具突破性的加速审批机制。若我对AI发展趋势的判断无误,未来会不断涌现效果极佳的全新医疗方案,监管体系必须摒弃过度怀疑的态度,正视这类创新成果。

医疗领域的提速发展,不仅能放大AI的正面价值,也有助于降低AI自身风险。医疗审批体系改革可强化生物安全防御能力,AI推动的心理健康领域进步,也能起到稳定社会秩序的作用。

五、公众焦虑源于真实安全隐患,需要提前完善AI治理体系

AI的指数级进步,带来了前所未有的变革速度与紧迫挑战,传统政策制定体系本难以适配这样的节奏。但与此同时,我们也迎来了一段独一无二的机遇期

如今,AI的风险已清晰显现,其创造经济价值、冲击现有产业的潜力也初步展露,公众普遍反对放任AI无序发展。多重因素叠加之下,政策制定者更愿意主动布局长远规划。Treebeard与他守护的森林,终于迎来了觉醒。

AI行业内有一种流行观点:当下的舆论争议只是公关问题,AI需要“更好的品牌宣传”。我完全不认同这种看法。民众产生担忧,是因为他们真切察觉到AI风险的真实性,并非AI企业高管的态度不够乐观。

作为AI行业从业者,我有责任如实披露风险。而公众基于真实信息产生的担忧,正是民主监督正常运转的体现。当下的核心任务,是将民众的关注转化为可行的解决方案,避免负面情绪演变为无差别对立与冲突

我对问题的解决保持乐观态度。从模型上线前检测、芯片出口管制,到就业问题应对、能耗管控等一系列AI相关议题,相关解决方案能够获得不同政治立场群体的普遍认同。

一个务实且值得期待的未来正在前方:跨党派群体正视AI带来的挑战,携手推动政策落地,让规则制定速度突破传统桎梏。行动越早,全人类就能越早共享AI带来的巨大价值。

《Policy on the AI Exponential》——Dario Amodei

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。