北京商报讯(记者 陶凤 王天逸)11月5日,华为数据存储宣布,针对AI推理加速的关键技术——UCM(Unified Cache Manager)推理记忆数据管理近日正式开源。
UCM以KV Cache多级缓存和推理记忆管理为中心,通过推理框架、算力、存储的三层协同,破解长序列推理效率低、成本高的难题,为企业提供更优的AI推理体验。
北京商报讯(记者 陶凤 王天逸)11月5日,华为数据存储宣布,针对AI推理加速的关键技术——UCM(Unified Cache Manager)推理记忆数据管理近日正式开源。
UCM以KV Cache多级缓存和推理记忆管理为中心,通过推理框架、算力、存储的三层协同,破解长序列推理效率低、成本高的难题,为企业提供更优的AI推理体验。
免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。
热门推荐