这项由西湖大学工程学院丁博文、陈宇涵等研究者联合华为诺亚方舟实验室共同完成的研究，发表于2025年12月的arXiv预印本（编号：arXiv:2512.11470v1），对当前大语言模型的训练方式提出了根本性的重新思考。有兴趣深入了解的读者可以通过该论文编号查询完整研究。

当下人工智能领域有个普遍认知：要让AI变得更聪明，就得让它既会模仿专家的解题过程，又能自己探索新的解决方案。但到底该怎么安排这两种学习方式呢？是让AI同时进行模仿和探索，还是先让它专心模仿一段时间，再让它自由探索？这个看似简单的问题，实际上困扰了整个行业。

就好比学习开车，有人主张边看教练示范边自己上手练习，也有人认为应该先把教练的每个动作都观察学透，再独自练习。哪种方式更有效？西湖大学的研究团队决定用科学的方法来回答这个问题。他们发现的结果可能会让很多人感到意外。

研究团队通过大量实验证实，传统的"边模仿边探索"训练方式并非最优选择。相反，采用"先模仿后探索"的顺序训练方法，能让AI达到更高的性能天花板。这个发现不仅挑战了当前主流的训练理念，更为AI训练提供了全新的指导原则。

一、为什么要重新审视AI的学习方式

在人工智能的世界里，让模型变得更聪明主要依靠两种训练方法。第一种叫做监督微调，就像让学生照着标准答案反复练习，通过模仿专家的推理过程来学会正确的解题思路。第二种叫做强化学习，类似于让学生自己摸索解题方法，通过试错和反馈来发现新的解决路径。

近年来，许多研究团队提出了同步训练的方法，试图让AI同时进行模仿和探索。这些方法看起来很有道理，毕竟人类学习时也常常是模仿与创新并行。然而，西湖大学的研究团队敏锐地察觉到，这种同步训练方法在面对大规模数据时可能存在稳定性问题。

更关键的是，现有的研究大多基于相对较小的数据集进行验证，通常只有几万个样本。但在实际应用中，要达到最先进的性能水平，往往需要数十万甚至上百万个训练样本。在这种大规模数据环境下，同步训练是否还能保持其声称的优势，成为了一个亟待解决的问题。

研究团队还发现，业界在决定何时从模仿阶段转向探索阶段时，往往缺乏系统性的指导原则。有些团队偏爱"少即是多"的训练哲学，认为用少量高质量数据就能达到很好的效果。但这种做法是否会限制模型后续的学习潜力，也是一个充满争议的话题。

二、搭建全新的理论框架来解决困惑

面对这些悬而未决的问题，研究团队提出了一个创新的"可塑性-天花板"理论框架。这个框架就像是为AI训练过程配备了一个精密的仪表盘，能够清晰地显示训练的各个关键指标。

在这个框架中，AI的最终性能被分解为两个核心组成部分。第一部分是"监督学习性能"，代表通过模仿专家能够达到的基础能力水平。就像学开车时，这相当于你能够按照教练的示范完成基本操作的熟练程度。第二部分是"强化学习可塑性"，表示在基础能力之上还能进一步提升的空间。这就好比你掌握了基本驾驶技能后，还能通过实际路况练习进一步提高驾驶水平的潜力。

这个理论框架的巧妙之处在于，它将复杂的训练过程量化为可以测量和比较的指标。研究团队发现，最终的性能天花板等于基础监督学习性能加上剩余的强化学习可塑性。关键的洞察是，这两个要素之间存在着微妙的平衡关系。

通过这个框架，研究团队能够精确地分析不同训练策略的优劣。他们发现，虽然提高监督学习性能看起来总是好事，但如果监督学习的数据质量不够理想，可能会压缩后续强化学习的改进空间，从而限制最终的性能上限。

三、史上最大规模的训练方式对比实验

为了验证理论框架的有效性，研究团队设计了一个规模前所未有的对比实验。他们使用了近90万个数学推理样本，这个数据规模是之前同类研究的20倍以上。实验在两个不同的模型上进行：主要使用Qwen2.5-7B模型，并在Llama3.2-3B模型上进行交叉验证，确保结果的可靠性。

实验涵盖了六个数学推理基准测试，包括GSM8K、奥林匹克数学竞赛、MATH等权威评测集。为了避免数据泄露影响结果的客观性，研究团队还专门过滤掉了与训练数据相似度过高的测试样本。

在这个庞大的实验设计中，研究团队系统地比较了四种主要的训练策略。第一种是纯监督学习，让模型只通过模仿来学习。第二种是纯强化学习，让模型完全通过自主探索来提升。第三种是同步训练，让模型同时进行模仿和探索。第四种是顺序训练，先让模型完成监督学习，再进行强化学习。

实验结果令人惊讶。在小规模数据集上表现出色的同步训练方法，在大规模数据面前暴露出了严重的稳定性问题。某些同步训练算法的性能波动程度是稳定方法的2.6倍，有些甚至完全无法收敛。这就像是一个在平静湖面上游泳很好的选手，到了波涛汹涌的大海中就完全失去了方向。

四、发现AI学习的最佳时机窗口

研究团队在实验中发现了一个关键规律：何时从监督学习转向强化学习，对最终性能有着决定性的影响。他们将整个监督学习过程细分为四个阶段，就像观察植物的生长周期一样。

第一个阶段被称为"适应期"，这时模型还在努力理解基本的任务要求，就像刚开始学习的学生需要时间适应新环境。如果在这个阶段就急于转向强化学习，模型缺乏足够的基础能力，后续的自主探索往往效果不佳。

第二个阶段是"稳定期"，模型的验证损失基本达到最低点并趋于稳定。这个时期模型已经充分掌握了从训练数据中能够学到的所有知识，基础能力已经扎实。研究发现，这是开始强化学习的最佳时机。

第三个阶段被称为"轻度过拟合期"，验证损失开始轻微上升，但仍在可接受范围内。对于数据规模较小或难度较低的情况，在这个阶段转向强化学习有时也能取得不错的效果。

第四个阶段是"严重过拟合期"，验证损失显著上升。如果在这个阶段才开始强化学习，模型的探索能力已经受到了严重损害，很难再有大的提升空间。

这个发现为AI训练提供了精确的时机指导。就像烹饪中火候的把握一样，过早或过晚都会影响最终的效果，只有在恰当的时机转换训练方式，才能发挥出最大的潜力。

五、数据规模与难度的惊人真相

在数据属性对训练效果影响的研究中，团队得出了颠覆性的结论。长期以来，"少即是多"的理念在AI训练领域颇受推崇，认为精心筛选的少量高质量数据能够达到与大规模数据相当的效果。然而，研究结果表明，在追求最终性能上限的情况下，这种观念是错误的。

实验对比了不同规模的数据集，从1000个样本的精品数据集到近90万样本的大规模数据集。结果显示，虽然小规模精品数据在训练初期确实能够快速提升模型性能，但这种提升很快就会遇到瓶颈。小规模数据就像是一个小池塘，看起来清澈见底，但容量有限。当模型把这个"小池塘"里的知识全部吸收后，就再也没有进步的空间了。

相比之下，大规模数据虽然在训练初期的效率看起来不如精品数据，但它为模型提供了更广阔的学习空间。更重要的是，大规模数据不仅提升了监督学习的基础性能，还为后续的强化学习保留了更大的改进潜力。这就像是在一个深邃的湖泊中学习游泳，虽然初期进步可能较慢，但最终能够达到的技能水平远超在浅水区训练的效果。

在数据难度方面，研究团队发现了同样有趣的规律。他们将数学问题按照难度分为简单、中等和困难三个层次，分别构建了相同规模的数据集。结果表明，训练数据的难度与最终性能存在正相关关系。困难的训练数据不仅能让模型获得更高的基础能力，还能为强化学习阶段保留更大的提升空间。

这个发现揭示了一个重要原理：数据规模是决定AI性能上限的主要因素，而数据难度则起到放大器的作用。当数据规模有限时，适当增加数据难度能够在一定程度上弥补规模的不足。但如果想要达到真正的性能巅峰，大规模的训练数据仍然是不可替代的。

六、发现预测性能的神奇指标

在所有的实验发现中，最令人兴奋的可能是验证损失与最终性能之间的强相关关系。研究团队发现，监督学习阶段达到的最低验证损失，能够准确预测整个训练流程结束后的最终性能水平。这个相关系数达到了-0.90，在统计学上属于极强的相关关系。

这个发现的价值在于，它为AI训练提供了一个"早期预警系统"。就像医生通过血压和心率等指标来评估患者的健康状况一样，AI工程师现在可以通过监督学习的验证损失来预判模型的最终潜力。如果验证损失能够达到很低的水平，那么可以预期后续的强化学习也会取得良好效果。反之，如果验证损失居高不下，即使投入大量计算资源进行强化学习，最终收益也会有限。

这个指标的实用意义非常重大。在实际的AI开发中，强化学习往往需要消耗大量的计算资源和时间。如果能够在监督学习阶段就预判出最终效果，开发者就可以及早调整策略，避免在低效的训练路径上浪费资源。

更进一步，这个发现还为数据质量评估提供了新的视角。不同来源、不同处理方式的训练数据，可以通过它们在监督学习阶段产生的验证损失来评估质量。那些能够产生更低验证损失的数据集，往往也能在完整的训练流程中带来更好的最终效果。

七、在不同模型上验证发现的普适性

为了确保研究结论不是针对特定模型的偶然发现，研究团队在Llama3.2-3B模型上进行了全面的验证实验。这个验证过程就像是在不同的实验室中重复同一个化学实验，确保结果的可重复性和普适性。

验证实验的结果高度一致。在Llama3.2-3B模型上，顺序训练的优势同样明显，同步训练的不稳定性问题也同样存在。更重要的是，监督学习阶段的最佳转换时机、数据规模与难度的影响规律，以及验证损失的预测能力，在新模型上都得到了确认。

特别值得注意的是，对于参数量较小的模型（如Llama3.2-3B），充分的监督学习显得更加重要。实验发现，如果监督学习阶段过于匆忙，小模型很难在后续的强化学习中弥补基础能力的不足。这就像是基础不牢固的建筑，无论后期如何装修都难以达到理想的效果。

这种跨模型的验证不仅增强了结论的可信度，也为不同规模的AI应用提供了针对性的指导。对于计算资源有限的开发者，使用较小的模型时更应该重视监督学习阶段的充分性。而对于有条件使用大型模型的团队，虽然模型本身的容错能力更强，但遵循最佳实践仍然能够获得更好的效果。

八、理论框架指导下的实践建议

基于大量实验和理论分析，研究团队提出了一套系统的AI训练实践指南。这套指南就像是一本详细的"烹饪食谱"，为不同情况下的AI训练提供了具体的操作建议。

首先，在训练策略的选择上，顺序训练应该成为标准做法。研究明确表明，先进行充分的监督学习，再转向强化学习，能够获得最高的性能上限。虽然这种方法在训练初期可能看起来进展缓慢，但它为模型建立了坚实的基础，确保后续的自主探索能够在正确的方向上进行。

在转换时机的把握上，监督学习应该进行到验证损失稳定的阶段。具体来说，当验证损失连续几个评估周期都保持在最低值附近时，就是开始强化学习的最佳时机。对于数据质量较高的大规模数据集，这个时机通常出现在验证损失达到全局最小值时。对于规模较小或质量一般的数据集，可以容忍轻微的过拟合，但绝不能等到严重过拟合才开始转换。

在数据准备方面，研究明确反驳了"少即是多"的观念。想要达到最佳性能，必须优先考虑数据规模。在资源允许的情况下，应该尽可能收集和使用大规模的训练数据。当数据规模受限时，可以通过提高数据难度来部分补偿，但这种补偿是有限的，无法完全替代规模的重要性。

在效果预测方面，监督学习阶段的最低验证损失成为了评估训练潜力的重要指标。开发团队可以在监督学习完成后，根据验证损失的水平来预判最终效果，并据此决定是否值得投入资源进行后续的强化学习。

九、研究成果的深远意义与未来影响

这项研究的价值远不止于提出了一套新的训练方法，更重要的是它为整个AI训练领域建立了科学的理论基础。过去，AI训练更多依赖经验和直觉，不同的研究团队往往基于有限的实验得出相互矛盾的结论。这项研究通过大规模实验和严谨的理论分析，为这个充满争议的领域提供了客观的指导原则。

从产业应用的角度来看，这些发现将直接影响AI公司的研发策略。许多公司正在开发自己的大语言模型，面临着如何高效利用训练资源的挑战。研究提供的训练策略和时机判断方法，能够帮助这些公司避免走弯路，更快地达到预期的性能目标。

对于学术界而言，"可塑性-天花板"框架开创了分析AI训练过程的新视角。这个框架不仅适用于当前研究的数学推理任务，很可能也能推广到其他类型的AI任务中。未来的研究可以在这个框架基础上，探索更多任务领域中监督学习与强化学习的最优结合方式。

从方法论的角度来说，这项研究展示了大规模实验在AI研究中的重要性。许多之前的研究由于实验规模有限，可能得出了局部正确但全局错误的结论。这提醒研究界，在资源允许的情况下，应该进行更大规模、更全面的实验验证。

更深层次上，这项研究揭示了AI学习过程的内在规律。监督学习提供基础能力，强化学习发挥探索潜力，两者的最优结合需要精确的时机把握。这种理解不仅有助于改进当前的AI训练方法，也为未来开发更高效的学习算法提供了理论基础。

说到底，这项研究用科学的方法回答了AI训练中的一个根本问题：应该如何安排模仿学习和自主探索的关系。答案出人意料地简单而深刻——先让AI充分学会模仿，再让它自由探索，这样看似保守的策略实际上能够带来最好的效果。这个发现不仅改变了我们对AI学习的理解，也为未来开发更智能的AI系统铺平了道路。对于每一个关注AI发展的人来说，这项研究都值得认真思考。它告诉我们，有时候最直接的方法可能就是最有效的方法，而科学的验证是找到真理的唯一途径。

Q&A

Q1：什么是"可塑性-天花板"框架？

A：这是西湖大学团队提出的理论框架，将AI的最终性能分解为两部分：监督学习性能（通过模仿专家达到的基础能力）和强化学习可塑性（在基础能力上进一步提升的空间）。就像学开车一样，前者是按教练示范完成基本操作的熟练度，后者是通过实际练习进一步提高的潜力。

Q2：为什么先模仿后探索比边模仿边探索效果更好？

A：大规模实验表明，同步训练在面对大量数据时会出现严重的稳定性问题，性能波动是稳定方法的2.6倍。而顺序训练让AI先充分掌握基础知识，再进行自主探索，能建立更坚实的基础，最终达到更高的性能上限。这就像先把基础功练扎实，再进行高难度训练一样。

Q3：如何判断什么时候从监督学习转向强化学习？

A：研究发现最佳转换时机是监督学习的"稳定期"，即验证损失达到最低点并趋于稳定时。此时模型已充分掌握训练数据中的知识，基础能力扎实。如果过早转换，基础不牢固；过晚转换，模型的探索能力会受损。验证损失可以作为判断时机的可靠指标。