当前位置: 首页 » 资讯 » 科技头条 » 正文

华为发布AI推理创新技术UCM:三级存储架构提升推理效率

IP属地 中国·北京 编辑:钟景轩 三言科技 时间:2025-08-12 20:22:21

8月12日,华为数据存储产品线总裁周跃峰博士在2025金融AI推理应用落地与发展论坛上发布了AI推理创新技术UCM(推理记忆数据管理器)。该技术以优化KV Cache管理为中心,融合多类型缓存加速算法工具,分级管理推理过程中产生的KV Cache记忆数据,扩大推理上下文窗口,实现高吞吐、低时延的推理体验,并降低每Token推理成本。

UCM技术引入专业外置存储作为第三级记忆,形成三级存储架构:实时高频访问的极热数据存储于HBM,短期较热数据存储在服务器DRAM中,其他数据存储于专业外置存储,最大化利用不同存储介质的优势,提升AI推理系统效率和性能。华为官方表示,UCM开源计划将于今年9月在魔擎社区首发,并逐步贡献给业界主流推理引擎社区,共享给业内所有Share Everything存储厂商和生态伙伴。

中国信息通信研究院人工智能研究所平台与工程化部主任曹峰指出,HBM价格昂贵,主流大模型和AI芯片大厂为突破显存瓶颈,采用外置存储解决长序列推理问题已成为业界共识,KV Cache成为推理架构优化的关键。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。