更低的推理成本:UCM具备智能分级缓存能力,可根据记忆热度在HBM、DRAM、SSD等存储介质中实现按需流动;同时融合多种稀疏注意力算法,实现存算深度协同,使长序列场景下TPS(每秒处理token数)提升2…
“梁文锋效应”
华为发布AI推理新技术 将于今年9月正式开源
论坛上,华为公司副总裁、数据存储产品线总裁周跃峰博士发布AI推理创新技术——UCM推理记忆数据管理器,旨在推动AI推理体验升级,提升推理性价比,加速AI商业正循环。 当前,人工智能已步入发展深水区,AI推理正…
04/01 16:41
10/31 16:58
10/31 16:56