通过分级管理推理过程中产生的KV Cache记忆数据,UCM能够显著扩大推理上下文窗口,从而提升推理效率,降低每Token的推理成本。 周跃峰博士在演讲中强调,在AI时代,模型训练、推理效率与体验的量纲都以T…
AI技术的完善落地,既需要技术创新,又需要人类协同配合
论坛上,华为公司副总裁、数据存储产品线总裁周跃峰博士发布AI推理创新技术——UCM推理记忆数据管理器,旨在推动AI推理体验升级,提升推理性价比,加速AI商业正循环。同时,华为携手中国银联率先在金融典型场景开…
更低的推理成本:UCM具备智能分级缓存能力,可根据记忆热度在HBM、DRAM、SSD等存储介质中实现按需流动;同时融合多种稀疏注意力算法,实现存算深度协同,使长序列场景下TPS(每秒处理token数)提升2…
生成式AI技术创新中心在中国组建了一支常驻一线主要城市的团队,成员包括战略师、应用科学家,乃至深度学习架构师等AI技术专家,已为制造、金融、软件、游戏、零售等多个行业的百余家客户提供服务,并基于Agenti…
DeepSeek R2或8月发布
该技术已率先在中国银联“客户之声”“营销策划”“办公助手”三大业务场景中
06/25 00:17
06/25 00:16
06/25 00:15