华为数据存储产品线副总裁、闪存领域总裁谢黎明表示,金融行业在AI推理应用中面临三大核心挑战:一是长序列输入导致的“推不动”;二是并发上不去且每Token时延长造成的“推得慢”;三是耗费大量算力做KV重复计算…
10/31 16:58
10/31 16:56
10/31 16:55