当前位置: 首页 » 资讯 » 科技头条 » 正文

千问正式开源FlashQLA 可减少训推过程注意力层的计算开销

IP属地 中国·北京 智通财经 时间:2026-05-02 00:07:41

智通财经APP获悉,4月29日,千问大模型宣布,正式开源 FlashQLA ,一个基于 TileLang 实现的高性能线性注意力算子库。FlashQLA 将 GDN Chunked Prefill 的前向和反向进行了合理的算子融合与性能优化,在 NVIDIA Hopper 上实现多场景相较于 FLA triton Kernel 2-3× 前向加速 和 2× 反向加速。对于预训练场景和端侧 agentic 推理效率提升明显。

千问团队表示,自 Qwen3-Next 发布以来,Gated Delta Network (GDN) 已成为 Qwen 全系列的主力注意力层,从 Qwen3-Next-80B-A3B 一路延伸到后续推出的 Qwen3.5 / Qwen3.6 系列。随着模型规模扩展到 397A17B、122A10B、35B、27B,GDN 在端到端训练与推理中的开销也变得不可忽视。

据介绍,本次发布的核心亮点在于:Gate驱动的自动化卡内序列并行。利用 GDN gate 的指数衰减性质,FlashQLA 在 TP、长序列、小头数等场景下自动开启卡内序列并行,提高 GPU SM 利用率;硬件友好的代数改写。对 GDN Chunked Prefill 的前向和反向流程进行一定程度的改写,在不影响数值精度的前提下有效降低了 Tencosr Core、 CUDA Core 及 SFU 开销。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。