被极氪001震撼到后 奥迪也造了一款全新纯电车
内存优化:在反向传播时,FlashAttention 不存储巨大的中间注意力矩阵,而是只保存前向传播中计算出的Softmax归一化因子。Recomputation(重计算):为了避免在反向传播时存储 …
06/25 00:17
06/25 00:16
06/25 00:15