近日,华为云推出了一项算力黑科技——柔性智算操作系统FlexNPU,将Token消耗“吞金兽”有效控制在企业预算范围内,打造面向Agentic时代的极致Token性价比,为企业级智能体的普及突破算力瓶颈。
企业AI应用现状,一半是海水,一半是火焰
当下,“养龙虾”成为全民热点话题,为千行万业尤其是中小企业提供了建设智能化工作流程的清晰思路。会上,华为云SMB解决方案与持续运营部部长刘杰用“一半是海水,一半是火焰”生动形容了目前企业智能化转型的现状:以OpenClaw为代表的先进生产力工具层出不穷,但AI实际应用往往面临着成本高山、技术壁垒、场景错位等挑战。
对此,华为云发布中小企业AI解决方案,涵盖AI基础设施层、模型服务层、智能体平台层、智能体应用层,帮助企业打造能对接ERP、能调用API、能闭环业务流程的“数字员工”。目前,华为云已深入2600多家企业、30多个行业,解决500多个AI场景化问题,成为企业AI创新路上的可靠伙伴。
在AI基础设施层,华为云提供昇腾多代系产品,以及自研的AI Infra OS,尤其是FlexNPU柔性智算技术,一方面满足中小企业小模型训练场景,另一方面通过弹性调度能够大幅提升资源利用率。
在模型服务层,华为云支持业界主流开源模型,让企业既能根据业务需求灵活选择,也能结合自有数据低成本微调专属模型; 在智能体平台层,华为云提供易用高效的Agent开发环境,助力开发者和中小企业面向行业结合场景打造企业级智能体; 在智能体应用层,华为云联合伙伴深入场景,覆盖洞察分析、营销运营、协同办公、开发运维、内容制作等高频需求。打造算力“金箍棒”,大幅降低算力成本
Agent时代,企业普遍面临算力痛点:Agent自主规划、多轮迭代、长上下文导致Token消耗量呈指数级增长,如何有效降低Token成本,成为核心和迫切的挑战。
为此,华为云发布了黑科技——柔性智算FlexNPU,通过构筑强大而灵活的AI Infra层算力调度技术,大幅提升推理池的有效算力利用率,从而以相同AI硬件算力投入,提供更大的Token吞吐输出。
柔性智算FlexNPU具备极致共享、极致弹性和极致高可用3大属性:
大模型推理方面,FlexNPU通过引入基于柔性算力的PD动态混部、在离线推理混部等创新技术,完美解决了传统PD分离架构下Prefill和Decode集群不均衡的AI Core与显存利用率,以及推理业务潮汐变化规律所导致的大量AI算力空转浪费难题,将带来至少40%的Token性价比提升空间。
小模型推理方面,FlexNPU通过实现最小粒度达1% NPU卡及128MB显存的颗粒度的AI Core时分复用,以及显存空分复用,为小模型提供真正完美匹配其算力诉求、量体裁衣的虚拟NPU资源,将小模型的平均算力成本降低2-3倍以上。
推理高可用保障方面,FlexNPU通过软硬解耦及Token级KV Cache的实时快照,使得上层推理框架不再需要感知底层的硬件故障,即可实现故障秒级快速恢复及断点续推,大大减少了Agent推理会话重计算开销,提升了用户的推理体验。
FlexNPU的核心价值体现在无需再为大模型推理的闲置算力,以及小模型推理的独占算力浪费买单,更不再需要为昂贵的故障重算买单,真正实现了AI算力分配供给从“资源模式”到“效率模式”的范式转变。
注:本文转自华为云,版权归作者所有





京公网安备 11011402013531号