这项由清华大学计算机科学与技术系黄宇翔、肖朝君、韩旭、刘知远团队开展的研究发表于2025年，研究成果以"NOSA: Native and Offloadable Sparse Attention"为题发表在arXiv预印本平台上，编号为arXiv:2510.13602v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

近年来，大语言模型就像一个拥有惊人记忆力的超级大脑，能够处理越来越长的文本内容。不过，就像人的大脑在处理大量信息时会变慢一样，这些AI大脑在处理长文本时也面临着类似的困扰——速度变慢，效率下降。

为了让AI大脑更高效地工作，研究人员们想出了各种办法。其中一种叫做"稀疏注意力"的技术特别有效，就像让大脑学会了"重点关注"——不需要对所有信息都全神贯注，而是有选择地关注最重要的部分。这种方法确实能让AI运行得更快，但仍然存在一个关键问题：尽管处理速度提升了，但大脑仍需要把所有信息都存储在最昂贵、最快速的内存中，这就像一个图书馆虽然提高了查阅效率，但仍然需要将所有书籍都放在最贵的黄金书架上。

清华大学的研究团队敏锐地发现了这个问题的核心所在。他们观察到一个有趣的现象：在AI处理连续文本的过程中，前后两个处理步骤所关注的信息有着高达80%的重叠度。这就好比一个人在阅读小说时，这一页关注的人物和情节，在下一页中大部分都会继续出现。

基于这个发现，研究团队开发了NOSA技术。这个技术的巧妙之处在于，它就像为AI大脑安装了一个智能的存储管理系统。这个系统能够预测哪些信息在下一个处理步骤中仍然重要，然后将这些重要信息保留在快速存储中，而将不太需要的信息暂时转移到相对便宜但稍慢的存储设备中。

为了让这种预测更加准确，NOSA引入了一种创新的方法，将信息选择过程分为两个部分：一个是"查询感知选择"，另一个是"查询无关选择"。这就像给图书馆配备了两种类型的管理员：一种专门根据读者的具体需求来推荐书籍，另一种则根据书籍本身的重要程度来决定哪些应该放在容易取到的位置。

通过这种双重管理机制，NOSA能够将前后处理步骤之间的信息重叠度从原来的88.9%提升到94.4%，这意味着需要在快慢存储之间传输的数据量大大减少了。就像原本需要每次都搬运20%的书籍，现在只需要搬运5.6%，效率提升显而易见。

研究团队为了验证NOSA的有效性，训练了一个拥有10亿参数的模型。在各种测试中，这个模型表现出了近乎完美的性能，在短文本任务上几乎没有性能损失，在长文本任务上也保持了优秀的表现。更令人印象深刻的是，在实际的推理速度测试中，NOSA技术实现了高达2.3倍的速度提升。

为了实现这些优秀的表现，研究团队不仅在算法层面进行了创新，还在系统实现上下了大功夫。他们设计了专门的内存管理器和通信模块，确保数据在不同存储设备之间的传输能够高效进行。这就像为图书馆配备了高速的传送带系统，让书籍的搬运变得既快速又可靠。

一、智能选择的艺术：NOSA如何决定什么信息最重要

在AI处理长文本的过程中，最大的挑战之一就是如何决定哪些信息需要重点关注。传统的稀疏注意力技术就像一个勤奋但有些僵化的图书管理员，它虽然能够识别出重要信息，但在决定哪些信息可以暂时放置一边时却缺乏足够的灵活性。

NOSA技术的核心创新在于引入了一种更加智能的双重选择机制。第一种选择机制被称为"查询感知选择"，它就像一个能够根据读者具体需求提供个性化服务的图书管理员。当AI需要处理一个新的文本片段时，这个机制会根据当前的具体需求来判断之前哪些信息最相关。比如说，如果AI正在分析一篇关于气候变化的文章中的某个段落，它会特别关注之前提到的温度数据、气候模式等相关信息。

第二种选择机制是"查询无关选择"，它更像一个具有丰富经验的资深管理员，能够凭借对信息本身重要性的判断来做出决策。这个机制不依赖于当前的具体处理需求，而是根据信息本身的固有重要性来判断哪些内容应该保留在快速访问的位置。继续用图书馆的比喻来说，这就像管理员知道某些经典书籍总是会被频繁查阅，所以应该永远放在最容易取到的位置。

这种双重机制的巧妙之处在于它们的互补性。查询感知选择能够捕捉到动态变化的关注焦点，确保AI能够灵活地适应不同的处理需求。而查询无关选择则提供了一种稳定的基础，确保那些基础重要的信息始终能够快速访问。两者结合，就像为AI配备了既能应对突发需求又能维持日常运营的完整管理团队。

为了确保这种双重选择机制能够有效工作，研究团队还引入了一个重要的约束条件：系统必须保证相邻处理步骤之间至少有75%的信息重叠。这就像为图书馆制定了一个基本规则：无论如何调整书籍摆放，都必须确保读者能够轻松找到他们需要的大部分资料。

在具体实现上，NOSA使用了一种叫做"Exp-Delayed DMA"的技术来计算信息的重要性得分。这个技术的名字听起来很复杂，但其实它的作用很简单：就像给每本书贴上一个重要性标签，标签上的数字越大，表示这本书越重要。系统在做选择时，就根据这些标签来决定哪些信息应该留在快速访问区域。

通过大量的实验验证，研究团队发现这种双重选择机制确实能够显著提高信息重叠度。在他们的测试中，相邻处理步骤之间的信息重叠度从原来的88.9%提升到了94.4%，这意味着系统需要在不同存储设备之间传输的数据量减少了一半以上。

二、存储大搬家：让AI大脑的记忆管理更高效

当AI大脑需要处理长文本时，就面临着一个类似搬家的问题：有大量的信息需要在不同的存储空间之间移动。在传统的系统中，这种"搬家"过程往往效率低下，就像用小推车一次只能搬运几件物品，来回奔波既费时又费力。

NOSA技术在这方面带来的改进就像为AI配备了一整套现代化的搬家设备。研究团队发现，传统系统的一个主要瓶颈在于数据传输的方式过于零散。就像搬家时如果每次只拿一两件小物品，无论多努力也无法提高整体效率。

为了解决这个问题，研究团队重新设计了数据的组织方式。他们将原本分散的信息重新排列，使得相关的数据能够紧密地聚集在一起。这就像搬家时将同类物品打包装箱，不仅便于搬运，还能避免遗漏。在技术实现上，他们采用了一种特殊的内存布局方式，确保需要一起移动的数据能够连续存放。

除了重新组织数据，研究团队还开发了专门的传输工具。他们使用了一种叫做"统一虚拟地址"的技术，这就像为搬家公司配备了能够同时处理多个搬运任务的大型货车。传统方法就像用多辆小车分别搬运，每辆车都需要单独规划路线和协调，而新方法则像使用一辆大货车统一调度，效率自然大大提升。

实际测试结果显示，这种新的传输方式能够达到每秒20GB以上的传输速度。考虑到理论上的最高传输速度是每秒31.5GB，这个表现已经非常接近硬件的物理极限。这就好比一条高速公路的理论最高通行能力是每小时1000辆车，而实际达到了每小时800辆车的通行量，可以说是相当高效的利用了。

为了进一步提高效率，研究团队还开发了一个智能的内存管理器。这个管理器就像一个经验丰富的仓库主管，能够精确地记录每一件物品的位置，并且在需要时快速找到它们。更重要的是，这个管理器是用C++语言编写的，比常用的Python语言快了35倍以上。这就像从手工记账升级到了电子化管理系统，不仅准确度更高，速度也快得多。

内存管理器维护着两套详细的"地图"，分别记录着信息在快速存储和慢速存储中的位置。当系统需要某个信息时，管理器能够立即告诉系统去哪里找，而不需要费时费力地到处搜索。这种精确的位置管理确保了整个数据搬运过程的高效有序。

通过这些技术的综合应用，NOSA系统在实际运行中展现出了显著的性能提升。在处理长文本任务时，系统的整体速度比传统方法提高了一倍以上，而且随着文本长度的增加和处理批次的扩大，这种优势变得更加明显。

三、实验验证：NOSA技术的真实表现如何

为了验证NOSA技术的实际效果，研究团队进行了一系列全面而严格的测试，就像对一辆新研发的汽车进行各种路况下的试驾一样。他们首先训练了一个拥有10亿参数的语言模型，这个模型的规模虽然不是最大的，但足以验证技术的有效性。

在训练过程中，研究团队采用了三个阶段的方法。第一个阶段就像让学生先学习基础知识，模型使用普通的注意力机制处理8000字长度的文本。第二个阶段则是专门的长文本训练，模型开始使用NOSA技术处理16000字长度的文本，这个阶段就像让学生开始练习处理更复杂的材料。最后一个阶段是精细调整，进一步优化模型的表现。

在性能测试方面，研究团队选择了多个不同类型的任务来全面评估模型的能力。对于短文本任务，他们测试了模型在数学、推理、编程等多个领域的表现。结果显示，使用NOSA技术的模型与原始模型相比几乎没有性能损失，在大多数任务上的表现差异都在1%以内。这就像一台经过改装的汽车，在燃油效率大大提高的同时，动力性能基本没有受到影响。

对于长文本任务的测试，研究团队使用了专门设计的长文本理解基准测试。这些测试包括长文档问答、文本摘要、信息检索等多种任务类型。测试结果同样令人满意，NOSA模型在绝大多数任务上的表现都与原始模型非常接近，平均性能差异不到1%。这表明引入局部性约束并没有损害模型处理长文本的能力。

在效率测试方面，结果更加令人印象深刻。研究团队在不同的硬件配置和任务设置下测试了系统的运行速度。在处理8000字长度的文本时，NOSA系统的处理速度比传统方法提高了约32%到70%。当文本长度增加到16000字时，速度提升变得更加显著，最高可达到2.3倍的改进。

特别值得注意的是，随着批处理大小的增加，NOSA的优势变得更加明显。在大批量处理任务中，传统方法往往因为内存限制而无法充分利用硬件资源，就像一个停车场虽然有很多停车位，但因为通道设计不合理而无法让更多车辆进入。而NOSA技术通过智能的内存管理，能够在相同的硬件条件下处理更多的任务，充分发挥硬件的潜力。

研究团队还专门测试了系统在不同内存限制下的表现。他们模拟了从8.75GB到21GB不同内存配置的情况，发现NOSA技术在所有配置下都能提供稳定的性能提升。这种一致性表明该技术具有良好的适应性和实用性，能够在各种实际应用环境中发挥作用。

为了确保测试结果的可靠性，研究团队对每个测试配置都运行了20次，然后取平均值作为最终结果。这种严格的测试方法确保了结果的统计显著性，就像药物临床试验需要大量样本才能得出可靠结论一样。

四、技术深度解析：NOSA背后的核心机制

要理解NOSA技术的工作原理，可以把它比作一个高效的图书馆管理系统。传统的AI注意力机制就像一个图书馆，每当有读者查询时，管理员都需要检查所有书籍来找出相关内容。而稀疏注意力技术则像给管理员配备了一个智能筛选系统，能够快速识别出最相关的书籍，大大提高了查询效率。

NOSA在此基础上的创新在于引入了一种预测性的管理策略。系统会观察读者的阅读模式，发现他们在连续的查询中往往会关注相似的主题。基于这个观察，NOSA开发了一种智能预测机制，能够提前判断下一次查询可能需要哪些信息。

在具体的技术实现上，NOSA将注意力选择过程分解为两个并行的组件。第一个组件专门处理与当前查询直接相关的信息选择，它会计算每个信息片段与当前查询的相关性得分，然后选择得分最高的部分。这个过程就像一个专业的参考咨询员，能够根据读者的具体问题快速找到最相关的资料。

第二个组件则负责维护一个相对稳定的重要信息集合。它不依赖于具体的查询内容，而是根据信息本身的重要性来做出判断。这就像图书馆中总有一些经典书籍会被频繁查阅，所以应该始终放在容易取到的位置。这个组件使用一个专门的重要性评分网络来计算每个信息片段的固有价值。

两个组件的结合工作方式很巧妙。系统首先根据当前查询选择一部分信息，然后将这些位置标记为"已占用"，接着在剩余位置中根据重要性得分选择额外的信息。这种设计确保了系统既能灵活适应不同的查询需求，又能维持一定程度的稳定性。

为了训练这个双组件系统，研究团队开发了一种特殊的学习策略。他们没有简单地将两个组件独立训练，而是让它们在统一的框架下协同学习。这就像培养一对搭档，不仅要各自掌握专业技能，还要学会默契配合。

在数学层面，NOSA引入了一个重要的约束条件：相邻处理步骤之间的信息重叠率必须达到一个预设的最小值。这个约束条件确保了系统的局部性特性，为后续的高效数据传输奠定了基础。研究团队通过理论分析证明，只要查询无关组件选择的信息比例达到一定水平，这个约束条件就能够自动满足。

在实际的计算过程中，NOSA使用了一种叫做"注意力偏置"的技术来实现可微分的选择过程。这种技术允许系统在训练过程中通过梯度下降来优化选择策略，同时在推理过程中进行离散的硬选择。这就像训练一个射箭运动员，在练习时可以进行细微的调整，但在正式比赛时必须做出明确的选择。

系统的另一个重要创新是在计算重要性得分时采用了延迟指数运算的策略。传统方法会在计算得分时立即应用指数函数，但NOSA将这个运算延迟到最终的注意力计算阶段。这种看似微小的改变实际上显著提高了数值计算的稳定性，就像在烹饪时调整调料添加的时机可能会影响最终的味道一样。

五、系统实现：从理论到实际应用的工程挑战

将NOSA的理论设计转化为实际可用的系统是一个充满挑战的工程过程，就像将建筑师的图纸变成真正的建筑需要解决无数个实际问题。研究团队在这个过程中遇到了许多预料之外的技术难题，但也正是这些挑战的解决，让NOSA成为了一个真正实用的技术。

首先遇到的问题是内存管理的复杂性。由于NOSA需要在GPU的高速内存和CPU的普通内存之间频繁移动数据，如何高效地管理这些数据的位置信息就成了关键问题。传统的方法就像用纸质账本来记录一个大型仓库中每件物品的位置，不仅查找缓慢，还容易出错。

研究团队开发了一个专门的内存管理器来解决这个问题。这个管理器就像一个现代化的仓库管理系统，使用电子化的方式精确记录每个数据块的位置信息。更重要的是，它能够预测数据的使用模式，提前做好数据搬移的准备工作。这种预测能力就像一个有经验的仓库管理员，能够根据历史经验预判哪些商品即将被需要，提前将它们移到便于取用的位置。

另一个重大挑战是数据传输效率的优化。虽然理论上PCIe总线能够提供每秒31.5GB的传输带宽，但在实际应用中，由于数据的分散分布和传输协议的开销，很难达到这个理论速度。这就像一条高速公路虽然设计时速很高，但如果车辆需要频繁进出匝道，实际通行速度就会大大降低。

为了解决这个问题，研究团队重新设计了数据的存储布局。他们将原本分散的小数据块重新组织，使得相关的数据能够连续存储。同时，他们还开发了专门的并行传输算法，能够同时处理多个数据块的传输请求。这种优化就像将原本需要多次往返的小货车运输改为一次性的大卡车运输，大大提高了整体效率。

实测结果显示，经过这些优化，系统在传输128个以上数据块时能够达到每秒20GB以上的实际传输速度，这已经达到了理论带宽的63%以上。考虑到各种协议开销和系统延迟，这个性能表现已经相当优秀。

在软件架构方面，研究团队还面临着如何将NOSA集成到现有AI框架中的挑战。现有的深度学习框架大多是为传统的密集计算而设计的，对于NOSA这种需要动态数据管理的稀疏计算模式支持有限。研究团队不得不开发了一套专门的软件接口和底层算子来实现NOSA的功能。

这个过程就像为一辆传统汽车安装混合动力系统，不仅要确保新系统能够正常工作，还要保证与原有系统的完美兼容。研究团队使用了约100行的Triton代码实现了核心的数据传输算子，这些代码虽然不多，但经过了精心的优化，确保了最高的执行效率。

为了验证系统实现的正确性和稳定性，研究团队进行了大量的压力测试。他们在不同的硬件配置、不同的负载情况下反复测试系统的表现，确保在各种极端情况下系统都能稳定运行。这种测试过程就像对新飞机进行各种极限条件下的试飞，只有经过了这些严格的验证，技术才能投入实际使用。

六、性能对比：NOSA与传统方法的全面比较

为了客观评估NOSA技术的实际效果，研究团队设计了一系列全面的对比实验。这些实验就像汽车的综合路试，不仅要在理想条件下测试性能，还要在各种复杂环境中验证技术的实用性和可靠性。

在处理速度方面，NOSA展现出了显著的优势。当处理8000字长度的文本时，在内存受限的情况下，NOSA的处理速度比传统的InfLLM-V2方法提高了32%到108%。随着文本长度增加到16000字时，这种优势变得更加明显，最高可达到130%的性能提升。这种改进就像将一辆原本最高时速100公里的汽车提升到了230公里，效果相当显著。

更令人印象深刻的是，NOSA的优势随着批处理规模的增大而变得更加突出。在大规模并发处理场景下，传统方法往往因为内存限制而无法充分利用硬件资源，就像一个停车场虽然有足够的空间，但因为入口设计不合理而造成拥堵。而NOSA通过智能的内存管理，能够让系统在相同硬件条件下处理更多的并发任务。

在内存使用效率方面，NOSA同样表现出色。传统方法需要将所有相关数据都保存在昂贵的GPU内存中，这就像必须将所有文件都放在办公桌上一样，不仅占用大量空间，还限制了能够同时处理的工作量。NOSA通过智能的数据搬移策略，能够将大部分数据放在相对便宜的CPU内存中，只将当前需要的数据保留在GPU内存中。

实验结果显示，在相同的内存限制下，NOSA能够支持更大的批处理规模。比如在17.5GB内存限制下，传统方法只能支持13个并发任务，而NOSA可以支持40个并发任务，这相当于将系统的吞吐能力提高了三倍以上。这种改进对于需要大规模部署AI服务的应用场景具有重要意义。

在准确性保持方面，NOSA也通过了严格的测试。研究团队在多个标准测试集上比较了NOSA模型和原始模型的表现。在短文本任务上，包括数学推理、常识问答、代码生成等各个方面，NOSA模型的性能几乎与原始模型完全相同，平均差异不到0.5%。在长文本任务上，包括长文档理解、文本摘要、信息检索等任务，NOSA模型同样保持了优秀的表现，平均性能损失不到1%。

这种近乎无损的性能保持是NOSA技术的一个重要优势。许多其他的优化技术虽然能够提高处理速度，但往往以牺牲准确性为代价。NOSA通过巧妙的设计实现了速度和准确性的双赢，这就像找到了一种既能提高汽车速度又不增加油耗的技术一样珍贵。

在实际部署的稳定性测试中，NOSA也表现得非常可靠。研究团队在连续数小时的高负载测试中，系统始终保持稳定运行，没有出现内存泄漏或性能下降的问题。这种稳定性对于实际应用来说至关重要，因为AI服务通常需要7×24小时不间断运行。

当前这项研究虽然在1B参数规模的模型上取得了优秀的结果，但研究团队也坦诚地指出了一些局限性。首先是规模扩展性的问题，虽然理论上NOSA可以应用到更大规模的模型上，但在实际应用中可能需要针对不同规模的模型进行专门的优化。其次是硬件兼容性的考虑，当前的实现主要针对NVIDIA GPU进行优化，在其他硬件平台上的表现还需要进一步验证。

尽管存在这些待完善的地方，NOSA技术已经展现出了巨大的应用潜力。特别是在云服务、边缘计算、移动设备等资源受限的场景下，这种技术能够显著提高AI系统的实用性和经济性。研究团队表示，他们正在继续完善这项技术，预计在不久的将来会有更多的改进和应用出现。

说到底，NOSA技术代表了AI系统优化的一个重要方向。它不是简单地追求更快的计算速度或更大的模型规模，而是通过智能的资源管理来实现更高的整体效率。这种思路就像城市交通规划一样，不是单纯地修建更多道路或提高车速限制，而是通过智能的交通管理来提高整个系统的通行效率。

这项研究的意义不仅在于提供了一种新的技术方案，更在于为AI系统的优化指出了一个新的思考方向。随着AI应用的不断普及，如何让这些强大的技术在普通设备上也能高效运行，将成为决定AI技术能否真正惠及每个人的关键因素。NOSA技术在这方面迈出了重要的一步，为我们展示了通过智能优化实现更高效AI系统的可能性。

归根结底，技术的价值在于能够解决实际问题。NOSA技术虽然涉及复杂的算法和系统设计，但它的核心目标很简单：让AI变得更加实用和高效。这种朴素而重要的目标，正是推动技术进步的根本动力。随着这项技术的不断完善和推广，我们有理由相信，更智能、更高效的AI系统将会来到我们身边，为我们的工作和生活带来更多便利。

Q&A

Q1：NOSA技术是什么？它解决了什么问题？

A：NOSA是清华大学开发的一种新型AI注意力机制技术，专门解决大语言模型在处理长文本时速度慢、内存占用大的问题。它就像为AI大脑配备了智能的存储管理系统，能够预测哪些信息重要并进行高效的数据搬移，从而在保持准确性的同时大幅提升处理速度。

Q2：NOSA技术相比传统方法有多大的性能提升？

A：根据实验结果，NOSA技术在处理长文本时能够实现高达2.3倍的速度提升。在内存使用方面，它能够在相同硬件条件下支持更大规模的并发处理，同时保持近乎无损的准确性表现，在各种任务上的性能损失都在1%以内。

Q3：普通用户什么时候能用上NOSA技术？

A：目前NOSA还是一项研究阶段的技术，研究团队正在进行更大规模模型的测试和不同硬件平台的适配工作。预计随着技术的不断完善，未来它可能会被集成到各种AI应用和服务中，让普通用户在使用AI助手、文档处理、智能搜索等服务时享受到更快的响应速度。