作者｜冬梅

过去两年，AI 基础设施几乎讲的是同一个故事：更大的模型、更多的 GPU、更高速的网络，以及功率不断上升的智算集群。

1 Agent 开始“干活”后，基础设施出现结构性变革

但当 AI 从回答问题的聊天机器人变成能够拆解任务、调用工具、搜索资料、执行代码并持续运行的 Agent，原来的基础设施逻辑正在出现改变。

这种改变首先体现在计算链路上。以前企业部署大模型，主要解决的是 GPU 数量、显存容量和推理速度等问题，CPU 更多承担辅助角色。但随着 Agent 规模应用后，需要解决的问题变多了：模型推理只是 Agent 任务执行中的一个环节，此外还夹杂着大量任务拆解、流程编排、信息检索、工具调用、状态管理和安全隔离等琐碎但是仍然很重要的工作，这些都需要依靠 CPU、内存、存储和网络共同完成。原本那套堆 GPU 的 AI 基础设施建设套路，难以承载未来海量的 Agent 长期运行、频繁交互的新需求。

一次模型调用，过去可能只是 Prompt 进去、Token 出来，现在，一个复杂任务背后可能同时运行十几个甚至几十个 Agent。它们要先理解需求，再拆分步骤、查询信息、调用模型、执行工具，最后对多个结果进行归纳、校验和整合。

GPU 仍然负责最核心的模型推理，但越来越多工作开始落到 CPU、内存、存储、网络和沙箱环境上。

7 月 9 日，在 2026 开放计算大会上，浪潮信息副总经理赵帅给出的判断是：Agent 正在迫使 AI 基础设施重新分工。

“AI 算力很重要，并且在未来十年依然是 AI 基础设施最重要的一部分。同时，CPU 算力也重新回到了大家的关注点。Agent 将带来一批独立于传统 GPU 服务器之外的 CPU 计算需求。”

这不是 CPU 取代 GPU，而是 AI 基础设施从一条计算链，变成两套彼此耦合的系统：一套负责生产 Token，另一套负责让 Agent 真正行动起来。

2 GPU 负责“想”，CPU 负责“干”

在传统大模型推理中，最受关注的是 GPU 数量、显存容量、卡间互联以及单 Token 生成速度。因为模型参数和计算主要集中在 GPU 上，CPU 通常只是承担输入输出、任务管理和部分数据预处理。

Agent 改变了这种结构。

一个 Agent 接收到任务后，通常不会立刻调用大模型生成最终答案。它可能先拆解需求，确定要调用哪些工具，查询哪些实时信息，再将不同步骤交给不同模型或 Agent 执行。

赵帅将这种运行环境描述为一个个 CPU 沙箱。

“Agent 一定是运行在 CPU 之上的，因为要做更多的其实是整型运算、逻辑推理、分支预测等等工作，这一定是运行在 CPU 之上的。”

以一个包含八个步骤的任务为例，真正需要 GPU 执行模型推理的可能只有其中一部分；信息查询、任务拆解、决策分析、工具调用和流程控制，更多依赖 CPU。

这也是为什么，Agent 时代讨论的 CPU 需求，不能简单理解为一台 AI 服务器里要多装几颗 CPU。浪潮信息技术专家在采访中专门澄清，传统 AI 服务器仍然会围绕 GPU 设计，Agent 带来的变化，是企业可能需要额外建设一批高密度 CPU 宿主机。

“新的 Agent 宿主机是 CPU 服务器，这个其实是额外新增加的一部分新的需求。”

换句话说，原来由两颗 CPU 管理八颗或十六颗 GPU 的服务器不会消失，GPU 高速互连域也仍然以 GPU 为中心。但在 GPU 推理集群之外，还会出现专门承载 Agent 编排、工具服务、沙箱运行和状态管理的 CPU 集群。

赵帅认为，随着这一变化，企业 AI 系统中 CPU 与 GPU 的总体数量关系可能发生明显变化。

Agent 的资源消耗高度依赖任务类型：一些临时 Agent 完成任务后便会释放，另一些企业级 Agent 却要长期驻留；简单信息查询可能只需要较小的 CPU 和内存资源，AI Coding 则需要持续读取代码仓库和历史上下文，对内存、存储和网络提出更高要求。

赵帅说，浪潮信息此前的测试显示，“日常的 Agent 任务下，每个 Agent 单核 2G 内存就能够支撑一个 Agent 稳定运行”，但同时，针对一些长上下文和复杂任务，需要为 Agent 配备更多的计算和内存资源。

企业真正面对的问题，是如何根据 Agent 的生命周期、上下文长度和工具类型，动态分配资源。

多 Agent 提高质量，也会把 Token 账单放大Agent 基础设施的另一个矛盾，是推理质量与计算成本。

单个模型难以稳定处理复杂任务时，一种正在出现的工程路径，是同时调用多个 Agent 或多个模型，再由评审模型对结果进行聚合。

赵帅将两条路径区分为“群智协同”和“多模融合”。

多 Agent 主要通过任务拆解、信息查询和多轮协作，提高一个模型系统的稳定性；多模型融合则让擅长推理、代码、图像或专业知识的不同模型分别处理任务，再统一生成结果。

“GPU 决定了模型的上限，多 Agent 是用工程化手段来拔高模型治理水平，这是用工程化能力解决；多模融合其实是用技术化能力打破 Agent 的智能上限，这是最大的差别。”

赵帅以一次旅行规划任务为例称，他们内部调用多 Agent 模式时，系统会启动 30 多个 Agent，分别查询交通、景点、行程和休息安排，再将结果汇总。相比快速模型直接生成答案，多 Agent 输出通常更完整，也更容易发现不存在的车次或不合理的行程安排。

但这笔质量提升并不免费。

原来一次请求只调用一个模型，现在可能同时调用多个模型；原来一次生成即可结束，现在需要经历检索、推理、评审和融合。模型调用次数和 Token 消耗都可能成倍增加。

对于企业来说，这意味着一个很现实的问题：多模型融合效果更好，但经济账是否算得过来？浪潮信息技术专家的回答是，不能把所有任务都交给融合模型，而要先对任务分级。

简单问答可以交给推理速度快、参数较小的模型；OCR、格式转换等任务，也没有必要调用万亿参数模型。只有代码生成、复杂逻辑分析或高价值决策，才进入多模型融合链路。

赵帅举了一个市场洞察报告的例子。

Agent 首先从网络上查找信息，其中的图片和 PDF 可以交给几十亿参数的小模型处理；企业内部知识库和文档，可以由千亿参数模型归纳；最后，只有在整合十几个甚至几十个来源、生成完整报告时，才调用更强的万亿参数模型。

因此，多模型融合的核心并不是把更多模型堆在一起，而是模型路由。

“这里有一个比较大的难点就是模型路由，这也是行业内重点在做的一个工作，就是一定要把模型路由，把一些真正让企业能够看起来用了几个模型融合，但是可能的成本比你所有任务都用万亿参数大模型还要低，因为会把所有的简单任务全卸载掉了。”

从这一角度看，模型越多，不一定意味着成本越高。

如果一个能力不足的模型需要反复生成、人工修改和重新调用，累计 Token 消耗可能高于一次融合推理。浪潮信息技术专家称，在其软件研发实践中，普通模型生成的代码往往要多次试错，而融合模型可能减少反复迭代。

但这仍然取决于路由的准确性。

一旦平台无法判断任务难度，把大量简单请求错误地送入大模型或融合链路，多模型系统反而会成为新的成本黑洞。未来企业 AI 平台的竞争力，很可能不再只是拥有多少模型，而是能否判断什么时候应该调用哪个模型，以及什么时候根本不需要调用大模型。

3 Agent Infra 不是一台新服务器，而是一场系统重构

浪潮信息此次发布了一款 CPU 原生液冷整机柜服务器，并发布了面向多模融合的元脑 SD200 超节点 AI 服务器，以及 SD200 企业版。

按照浪潮信息披露，CPU 原生液冷整机柜可以容纳 384 颗通用处理器，并支持 4 万个以上 Agent 并发；SD200 则提供 4TB 统一显存，可同时支撑 4 个万亿参数大模型运行；SD200 企业版 16 卡统一 Scale Up 计算域，万亿参数模型的首 token 延迟降低 40% 以上，给企业提供了更低迁移和适配成本的选择。

但相比单一产品参数，更值得关注的是其背后的架构判断。

赵帅认为，Agent Infra 与传统 AI 基础设施最大的区别，是过去相互独立的 CPU 计算集群和 GPU 推理集群必须重新连接。

“从今年开始大家会发现一定要把 CPU 跟 GPU 结合起来，怎么结合？系统该怎么搭？CPU 的 Agent 集群和 GPU 推理集群到底怎么样匹配，怎么样连接，怎么共享存储。用什么样的方案，这都是大家面临的很核心的问题。”

这种连接不仅是网络连接。

Agent 需要读取企业数据、调用模型、访问知识库，并在多个沙箱之间传递状态。CPU 集群与 GPU 集群之间的距离、带宽和延迟，都会直接影响一次任务的完成时间。

过去的数据中心规划中，通用业务和 GPU 训练集群可以相对独立。高耗能的 GPU 集群可以部署在电力更便宜的地区，面向用户的业务系统则部署在靠近市场的位置。

但 Agent 需要在二者之间频繁往返。

“你有可能需要让 Agent 更靠近你的 AI 集群，以往云数智、AI 集群是分开的，大家一直讲东数西算，最大的点就是可以把所有 GPU 放在西部，所有正常业务都放在东部，这样更靠近用户。但是未来会发现可能不是这样的，仅仅这样做是不够的。”

这意味着，Agent 可能改变的不只是服务器配置，还包括数据中心选址、网络架构、存储布局和资源调度方式。

对于已经建设传统数据中心的企业，改造成本也不会很低。浪潮信息技术专家表示，如果现有基础设施主要是通用服务器，通常无法承载最新的万亿参数模型，服务器和交换机都可能需要更新，网络也会从传统带宽升级到 400G 甚至 800G。

只有已经部署一定规模 AI 服务器和高速网络的企业，才可能通过增加互联设备和节点完成平滑升级。所以可以这样说，Agent Infra 并不是所有企业都必须自建的一套标准配置。对于中小企业而言，大规模采购 CPU 机柜、GPU 超节点和高速交换网络，未必是最经济的选择；云服务、托管集群或者更小规模的一体机，仍然可能是更现实的路径。

浪潮信息也承认，大型超节点对多数企业来说门槛较高，因此正在将部分超节点架构缩小到企业级设备中。

这反映出 Agent 基础设施产业化面临的核心问题：行业知道系统需要重构，但尚未形成统一的部署形态。

4 芯片竞赛之后，系统能力开始成为新变量

Agent 增加 CPU 需求的同时，大模型训练和多模型推理仍然在推高 GPU 功耗。

赵帅在采访中称，国内部分 AI 机柜正向 300 千瓦发展，海外兆瓦级机柜也在进入产品化阶段。浪潮信息此次推出高密 CPU 整机柜，一个原因就是让 CPU 集群的功率密度与 AI 数据中心现有的供电、液冷基础设施相匹配。

按照赵帅的判断，当单机柜功率达到数百千瓦甚至兆瓦级后，传统 380V 供电将难以继续扩展，800V 高压直流供电需要直接进入机柜。

“当你必须把电压提高，才能用稍微细一点的电缆。电压×电流 = 功耗。只有这样才能保证基础设施是可控的，所以 800V 进机柜是未来基础设施第一个大的变化。”

随之改变的还有 UPS、变压器、母线、液冷和机房布局。

浪潮信息此次 CPU 机柜采用“算电分离”设计，将电源从液冷计算节点中移出，通过独立供电模块和 Busbar 为节点供电。其目的既是提高计算密度，也是在电源尚难以全面液冷的情况下，实现计算节点的液冷覆盖。

赵帅进一步判断，兆瓦级机柜最终会推动吉瓦级智算中心出现，而现有数据中心难以直接承载此类设施。

不过，吉瓦级智算中心仍是面向未来的基础设施设想。赵帅预计，其可能在未来两到三年落地。目前绝大多数企业面对的，更现实的问题仍然是如何提高已有算力利用率，而不是立即建设吉瓦级数据中心。

这也是 Agent Infra 讨论中容易被忽略的一面：产业一边在追求更大的集群、更高的密度和更快的 Token，另一边，大多数企业甚至还没有解决模型调用成本、资源闲置和应用价值的问题。

随着大模型厂商和互联网公司研发 ASIC，未来 AI 基础设施不会只有 CPU 和 GPU，还会出现 NPU 以及针对 Prefill、Decode、Attention、FFN 等环节设计的专用芯片。

浪潮信息技术专家将未来的 Token 生产类比为汽车流水线：不同环节将使用不同的系统和芯片，以提高整体效率。

Prefill 可能运行在一类系统上，Decode 运行在另一类系统上；Decode 内部还可能继续拆成 Attention 和 FFN，由不同架构承载。这意味着，芯片本身只是一个计算单元。真正决定 AI 应用能否规模化的，是如何把 CPU、GPU、ASIC、内存、存储和网络组合成一套稳定运行的系统。