IT之家 11 月 10 日消息，据华为麒麟官方公众号今日分享，基于华为 CANN（Compute Architecture for Neural Networks）端云协同架构打造的华为 PC 端 AI 闪绘功能近日正式落地，标志着端侧 AI 大模型应用迈入新阶段。

据介绍，AI 闪绘是一种基于扩散模型的图生图技术，可根据现有图片与提示词生成符合用户预期的新图像。该功能由华为 CANN 团队与生态伙伴悟空图像协作打造，双方围绕 SDXL（Stable Diffusion XL）模型的端侧部署展开合作，突破了模型瘦身、多风格适配与算子优化等关键技术。

华为麒麟介绍称，端侧 AI 大模型的部署长期面临三大挑战，包括：模型体积庞大：大模型参数规模可达数十亿甚至百亿级，端侧设备面临非常大的内存压力；推理延迟高：端侧算力有限，复杂模型难以实现实时响应；风格单一化：单一模型难以满足用户多样化创作需求。

针对这些痛点，CANN 团队提出“瘦身 — 加速 — 灵活”三位一体技术路径，依托 CANN 端云一致的异构计算架构及内置量化能力，双方团队通过混合精度量化，将 SDXL 模型的体积大幅度压缩，同时高度保留原始精度。

IT之家从华为麒麟获悉，这一优化不仅能高效压缩模型在端侧的存储空间，还能使得推理时的内存带宽显著减少。该方案已在麒麟芯片 NPU 完成验证，为端侧大模型的高效运行奠定了基础。