当前位置: 首页 » 资讯 » 科技头条 » 正文

阿里千问推出原生视觉-语言模型Qwen3.5-397B-A17B

IP属地 中国·北京 智通财经 时间:2026-02-17 10:16:20

智通财经APP获悉,2月16日,阿里千问正式发布Qwen3.5,并推出Qwen3.5系列的第一款模型Qwen3.5-397B-A17B 的开放权重版本。作为原生视觉-语言模型,Qwen3.5-397B-A17B在推理、编程、智能体能力与多模态理解等全方位基准评估中表现优异。该模型采用创新的混合架构,将线性注意力(Gated Delta Networks)与稀疏混合专家(MoE)相结合,实现出色的推理效率:总参数量达3970亿,每次前向传播仅激活170亿参数,在保持能力的同时优化速度与成本。将语言与方言支持从119种扩展至201种,为全球用户提供更广泛的可用性与更完善的支持。

据介绍,相对于Qwen3系列模型,Qwen3.5的 Post-training 性能提升主要来自于对各类RL任务和环境的全面扩展。更加强调RL环境的难度与可泛化性,而非针对特定指标或狭隘类别的query进行优化。

Qwen3.5通过异构基础设施实现高效的原生多模态训练:在视觉与语言组件上解耦并行策略,避免统一方案带来的低效。利用稀疏激活实现跨模块计算重叠,在混合文本-图像-视频数据上相比纯文本基线达到近100%的训练吞吐。在此基础上,原生FP8流水线对激活、MoE路由与GEMM运算采用低精度,并通过运行时监控在敏感层保持BF16,实现约50%的激活显存降低与超过10%的加速,并稳定扩展至数万亿 token。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。