这项由Meta超级人工智能实验室、Meta基础AI研究部门以及俄亥俄州立大学的联合研究团队共同完成的研究，发表于2025年10月，论文编号为arXiv:2510.08558v1。研究的第一作者是俄亥俄州立大学的张凯博士，联合通讯作者包括俄亥俄州立大学的孙欢教授和Yu Su教授，以及Meta的Jason Weston博士和吴亦凡博士。这项研究为那些对人工智能如何学习和成长感兴趣的读者提供了令人兴奋的新见解。

人工智能就像一个刚入学的学生，它需要学习如何在复杂的环境中做出正确的决策。传统的训练方法就好比让学生只能死记硬背教科书上的标准答案，而无法真正理解问题的本质。当学生遇到教科书上没有的新问题时，往往会束手无策。现在，研究团队提出了一种全新的训练理念，叫做"早期经验"，这就像是让学生在真实环境中进行实习，通过亲身体验来学习和成长。

这种方法的核心思想非常简单却又极其巧妙。传统的AI训练就像是给学生提供一堆"专家示范录像"，让它模仿专家的每一个动作。但这种方法有个致命缺陷：学生永远不知道如果自己做了不同的选择会发生什么。而"早期经验"方法则鼓励AI智能体主动尝试不同的行动，观察这些行动带来的结果，然后从中学习。这就像是让学生不仅要看专家怎么做，还要自己动手试一试，看看不同的做法会产生什么样的后果。

研究团队在八个不同的环境中测试了这种新方法，涵盖了从虚拟家庭环境导航到网络购物，从多轮工具使用到长期规划等各种复杂任务。结果显示，采用"早期经验"训练的AI智能体在所有测试中都表现出了显著的改进，平均成功率提高了近10个百分点。更令人兴奋的是，这些智能体在面对从未见过的新情况时，也表现出了更强的适应能力。

一、传统AI训练的困境：只会背书的学生

当前的AI智能体训练就像是培养一个只会背书的好学生。研究团队发现，现有的训练方法主要依赖两种途径，但都存在明显的局限性。

第一种方法叫做"模仿学习"，就像是让学生观看名师的教学录像，然后要求学生完全按照录像中的步骤来操作。这种方法看起来很直接，但问题在于学生永远不知道如果偏离了标准步骤会发生什么。当学生在实际应用中遇到录像里没有覆盖到的情况时，就会完全不知所措。更糟糕的是，制作这些"名师录像"需要大量的人力和时间成本，而且很难覆盖所有可能遇到的情况。

第二种方法叫做"强化学习"，这就像是让学生在真实环境中学习，根据成功与否来调整自己的行为。这种方法理论上很好，但在实际应用中却困难重重。许多真实环境就像是一场没有明确评分标准的考试，学生做完一整套题目后，也不知道自己到底得了多少分。比如在网络环境中，一个智能体可能成功提交了一个表单，但网站不会告诉它每个字段是否填写正确。即使有评分，往往也要等很长时间才能知道结果，这让学习过程变得极其缓慢和不稳定。

这种困境就像是要求一个学生要么只能通过看别人的考试录像来学习，要么只能参加一种要等很久才公布成绩的考试。两种方法都无法让学生真正理解问题的本质，也无法培养学生的独立思考和适应能力。

二、早期经验：让AI在实践中成长

面对传统训练方法的局限，研究团队提出了"早期经验"这个革命性的概念。这种方法就像是为学生创造了一个理想的学习环境，让他们既能观察专家的示范，又能亲自动手尝试，并且能够立即看到自己行动的后果。

早期经验的核心理念是让AI智能体主动探索环境，尝试不同的行动选择，然后观察这些行动带来的状态变化。这些状态变化本身就包含了丰富的信息，不需要外部的评分系统来告诉智能体做得好不好。就像一个孩子学习走路时，不需要有人给他打分，跌倒本身就是一种反馈，告诉他这种走法不太合适。

研究团队在这个框架下开发了两种具体的训练策略，每种都有其独特的价值和应用场景。

第一种策略叫做"隐式世界建模"，这就像是让学生通过亲身体验来理解周围环境的运作规律。在传统的课堂学习中，学生只能听老师讲解物理定律，但在这种新方法中，学生要亲自做实验，观察不同操作产生的结果，从而内化对环境动态的理解。具体来说，智能体会在每个状态下尝试多种不同的行动，观察每种行动导致的环境变化，然后学习预测"如果我做了这个行动，环境会变成什么样子"。这种预测能力让智能体对环境有了更深层次的理解，就像一个经验丰富的司机能够预判前方路况一样。

第二种策略叫做"自我反思"，这就像是让学生学会思考"为什么专家的选择比我的选择更好"。在这种方法中，智能体不仅要观察专家的行动，还要自己尝试一些替代方案，然后比较不同选择产生的结果。通过这种对比，智能体能够理解专家决策背后的逻辑和原则。比如在网上购物的场景中，当专家选择点击蓝色的衬衫时，智能体可能会尝试点击红色的衬衫，然后观察到红色衬衫超出了预算限制。通过这种对比，智能体学会了在选择商品时要考虑预算约束这个重要原则。

这两种策略的美妙之处在于它们都不需要外部的评分系统。环境状态的变化本身就提供了丰富的学习信号。这就像是让学生在一个会立即反馈结果的实验室中学习，每个操作都能立即看到效果，从而快速积累经验和理解。

三、八大考场上的精彩表现

为了验证早期经验方法的有效性，研究团队在八个截然不同的环境中进行了全面测试，就像是让学生参加八门不同学科的考试，从家政课到计算机课，从购物实习到科学实验，每一门都考验着不同的能力。

在虚拟家庭环境测试中，智能体需要像一个家政助手一样完成各种日常任务，比如"把两本书放到床上"。这听起来简单，但实际上涉及导航、物品识别、任务规划等多个复杂步骤。使用早期经验训练的智能体表现出了惊人的改进，成功率从传统方法的80.5%提升到了85.9%。更重要的是，当面对从未见过的任务组合时，这些智能体也表现出了更强的适应能力。

在网络购物环境中，测试变得更加复杂。智能体需要像一个精明的消费者一样，根据特定要求（比如"蓝色无线蓝牙耳机，价格低于130美元"）在模拟的电商网站上找到合适的商品。这个任务不仅需要理解自然语言描述，还要学会使用网站的各种功能，如搜索、筛选、比较等。结果显示，采用早期经验方法的智能体在这个任务上的表现有了显著提升，特别是在处理复杂约束条件时表现出了更好的理解能力。

在多轮工具使用测试中，智能体需要像一个技术专家一样使用各种API和命令行工具来完成复杂任务。这就像是要求一个助手能够熟练使用多种软件工具来帮助老板处理工作。在这个测试中，传统训练方法的智能体经常会在长序列的工具调用中迷失方向，而早期经验训练的智能体则表现出了更好的规划能力和错误恢复能力。

在科学实验模拟环境中，智能体需要像一个学生一样在虚拟实验室中进行各种科学实验，比如测试铝箔的导电性。这个任务需要智能体理解实验原理，正确使用实验设备，并根据实验结果得出正确结论。早期经验方法让智能体在这类需要深度推理的任务中表现得更加出色。

在旅行规划任务中，智能体需要像一个旅行顾问一样为客户制定完整的多天旅行计划，包括交通、住宿、餐饮、景点等各个方面，同时还要满足预算约束。这是一个典型的长期规划任务，需要在多个相互关联的决策之间保持一致性。研究结果显示，早期经验训练的智能体在这类复杂规划任务中的成功率有了大幅提升，从传统方法的17.2%提升到了32.2%。

最令人印象深刻的是，在所有这些测试中，早期经验方法不仅提升了智能体在训练环境中的表现，更重要的是显著增强了它们的泛化能力——也就是在面对全新情况时的适应能力。这就像是一个经过充分实习的学生，不仅能在熟悉的环境中工作得很好，在全新的环境中也能快速适应。

四、从理论到实践：两种训练策略的深度解析

研究团队开发的两种训练策略各有特色，就像是为不同类型的学习者量身定制的教学方法。

隐式世界建模就像是培养一个学生的直觉感知能力。在这种方法中，智能体通过大量的实践来建立对环境运作规律的内在理解。具体过程是这样的：对于专家演示中的每一个状态，智能体都会尝试多种不同的行动选择，然后观察每种行动带来的环境变化。通过这种方式，智能体逐渐学会了预测"如果我在当前情况下做了某个行动，接下来会发生什么"。

这种预测能力的价值在于它让智能体对环境有了更深层次的理解。就像一个经验丰富的厨师，即使面对全新的食材组合，也能预判不同烹饪方法可能产生的效果。在网络购物的例子中，通过隐式世界建模训练的智能体学会了预测点击不同商品会导致什么样的页面变化，这种理解帮助它更好地导航复杂的电商网站。

自我反思策略则更像是培养学生的批判性思维能力。在这种方法中，智能体不仅要观察专家的选择，还要主动思考为什么专家的选择比其他可能的选择更好。这个过程通过生成自然语言的解释来实现，就像是要求学生写出解题思路一样。

以购物场景为例，当专家选择了一个15美元的蓝色衬衫而不是30美元的红色衬衫时，智能体会生成这样的思考过程："虽然红色衬衫符合颜色偏好，但它超出了20美元的预算限制。蓝色衬衫既满足了款式要求，又符合预算约束。"通过这种反思过程，智能体学会了在决策时需要同时考虑多个约束条件的重要原则。

这种基于自然语言的反思有一个特别的优势：它让智能体学会了可迁移的决策原则。当智能体在新的购物场景中遇到类似的预算约束问题时，之前学到的"优先考虑预算限制"这个原则就能派上用场。这就像是一个学生学会了解题方法后，能够将同样的方法应用到不同的题目上。

研究团队还发现，这两种策略在不同类型的任务中表现出了不同的优势。隐式世界建模在那些环境动态相对稳定和可预测的任务中表现更好，比如在结构化的模拟环境中导航。而自我反思则在那些需要复杂推理和多约束优化的任务中表现更出色，比如旅行规划和多轮工具使用。

有趣的是，研究团队还探索了这两种策略的组合使用。他们发现，在某些复杂任务中，同时使用两种策略能够获得更好的效果，就像是让学生既要培养直觉感知，又要学会理性分析。

五、数据效率革命：用更少的专家示范获得更好的效果

早期经验方法的另一个重要优势在于它的数据效率，这就像是找到了一种让学生用更少的教科书学到更多知识的方法。

传统的模仿学习就像是要求学生必须有大量的标准答案才能学好，但收集这些高质量的专家示范往往需要巨大的成本。想象一下，如果要教一个AI助手学会网上购物，传统方法需要让人类专家演示成千上万次不同的购物场景，每一次都要确保操作完全正确，这样的工作量是惊人的。

早期经验方法则通过让智能体自主探索大大降低了对专家数据的依赖。研究结果显示，在某些任务中，仅使用一半甚至更少的专家演示数据，早期经验训练的智能体就能达到甚至超过传统方法使用全部数据的表现。这就像是一个学生通过自己做练习和总结，能够用一半的教科书内容学到和其他学生用全部教科书内容一样多的知识。

这种数据效率的提升来自于智能体主动生成的探索数据。每当智能体在一个状态下尝试不同的行动时，它实际上就在创造新的学习样本。这些样本虽然不是专家级别的演示，但它们提供了关于环境动态和行动后果的宝贵信息。这就像是一个学生通过自己的试错过程，发现了教科书上没有明确写出的知识点。

研究团队在实验中发现，智能体生成的探索数据通常比原始专家数据大一个数量级。比如在网络购物任务中，智能体在每个专家状态下尝试多种不同的行动，最终生成了超过12万个状态转换样本，而原始专家数据只有1.5万个状态-行动对。这种数据放大效应让智能体能够从有限的专家演示中提取出更丰富的学习信号。

更令人兴奋的是，这种自主生成的数据具有很好的多样性。传统的专家演示往往集中在最优路径上，就像是只展示了如何走最短的路，但没有展示其他可能的路径。而智能体的自主探索则覆盖了更广泛的状态空间，包括各种次优选择和它们的后果。这种多样性让智能体对环境有了更全面的理解，当面对新情况时也更不容易迷失方向。

研究团队还探索了不同探索策略对数据效率的影响。他们发现，智能体探索的"广度"（也就是在每个状态下尝试多少种不同行动）对最终性能有显著影响。通常来说，更多的探索会带来更好的性能，但也有边际递减的效应。这就像是做练习题一样，适量的练习很有帮助，但过多的重复练习可能效果有限。

六、通用性验证：跨越不同AI模型和任务领域

为了证明早期经验方法的通用性，研究团队在多个不同的AI模型和任务领域中进行了广泛测试，就像是验证一种新的教学方法是否适用于不同性格和能力的学生。

在模型通用性方面，研究团队测试了三个不同规模和架构的语言模型：Llama-3.2-3B、Qwen-2.5-7B和Llama-3.1-8B。这些模型就像是三个具有不同基础能力的学生，有的擅长逻辑推理，有的善于语言理解，有的在知识记忆方面更强。结果显示，早期经验方法在所有这些模型上都取得了一致的改进效果，证明了这种方法不依赖于特定的模型架构或训练背景。

更令人印象深刻的是，研究团队还测试了方法在模型规模扩展中的表现。他们发现，即使在参数量达到700亿的大型模型上，早期经验方法仍然能够带来显著的性能提升。这表明这种方法不会因为模型变得更加复杂而失效，反而能够与模型的基础能力协同工作，产生更好的效果。

在任务通用性方面，研究团队选择的八个测试环境涵盖了AI智能体可能面临的各种挑战。从行动空间的角度来看，有些任务具有封闭且有限的行动集合，比如家庭环境导航，智能体只能从预定义的一小组动作中选择。有些任务具有结构化但较大的行动空间，比如多轮工具使用，智能体需要从众多可能的工具和参数组合中做出选择。还有些任务具有开放的行动空间，比如网络搜索，智能体可以输入几乎任意的搜索查询。

从观察空间的角度来看，测试环境也展现了巨大的多样性。有些环境提供简洁清晰的文本描述，比如家庭环境中的"你在桌子旁边，桌子上有一本书"。有些环境返回结构化的API响应，比如工具使用任务中的JSON格式输出。还有些环境呈现复杂的网页结构，包含数百个可交互元素，就像真实的网站一样。

尽管面临如此多样化的挑战，早期经验方法在所有测试环境中都表现出了稳定的改进效果。这种一致性特别令人兴奋，因为它表明这种方法捕捉到了智能体学习的某些基本原理，而不是针对特定任务的临时解决方案。

研究团队还特别关注了方法的跨域泛化能力。他们在某些环境中使用修改后的设置进行测试，比如在多跳问答任务中，训练时使用来自一个数据集的问题，测试时使用来自完全不同数据集的问题。结果显示，早期经验训练的智能体在这种跨域测试中的表现显著优于传统方法，证明了它们学到的不是死记硬背的模式，而是可迁移的能力。

七、未来AI训练的新起点：从早期经验到强化学习

研究团队还探索了早期经验方法与传统强化学习的结合，这就像是为学生设计了一个从基础实习到高级训练的完整学习路径。

强化学习就像是让学生参加有明确评分标准的考试，通过不断的试错和反馈来改进表现。虽然这种方法理论上很强大，但在实际应用中往往需要大量的尝试才能获得有意义的学习信号。特别是在复杂的真实环境中，随机探索往往效率很低，就像是让一个完全没有基础的学生直接参加高难度考试一样。

早期经验方法的一个重要价值在于它能够为后续的强化学习提供一个更好的起点。通过早期经验训练，智能体已经对环境有了基本的理解，掌握了一些基础技能，这就像是让学生在参加正式考试之前先进行了充分的预习和练习。

实验结果证实了这种组合策略的有效性。在那些有明确评分标准的环境中，研究团队比较了三种不同的强化学习起点：直接从预训练模型开始、从传统模仿学习训练的模型开始，以及从早期经验训练的模型开始。结果显示，从早期经验训练的模型开始进行强化学习，能够达到最高的最终性能。

更有趣的是，这种性能优势不仅体现在最终结果上，还体现在学习过程的效率上。从早期经验训练的模型开始，强化学习过程收敛得更快，也更加稳定。这就像是有了基础知识的学生能够更快地掌握新技能，而且学习过程中的波动也更小。

这种结合策略的成功为AI智能体的训练提供了一个新的范式：首先通过早期经验方法让智能体获得对环境的基础理解和基本技能，然后在有条件的情况下使用强化学习进一步优化性能。这种分阶段的训练方法既避免了纯模仿学习的局限性，又规避了直接强化学习的低效性。

研究团队将这种方法称为从"人类数据时代"到"经验时代"的桥梁。在人类数据时代，AI主要依赖人类提供的演示来学习；在经验时代，AI将主要通过自己与环境的交互来学习。而早期经验方法正是连接这两个时代的关键技术，它让AI能够在有限的人类演示基础上，通过自主探索获得更丰富的经验。

八、技术实现的巧思：化复杂为简单

早期经验方法的技术实现展现了研究团队的巧思，他们成功地将复杂的理论概念转化为了实用的训练流程，就像是将高深的数学公式转换成了简单易懂的操作步骤。

在隐式世界建模的实现中，研究团队巧妙地利用了语言模型本身的文本生成能力。他们将环境状态的预测任务转化为标准的文本生成任务，这样就可以直接使用现有的语言模型训练框架，而不需要设计复杂的专门架构。具体来说，模型的输入是当前状态和选择的行动，输出是预测的下一个状态的文本描述。这种设计既简单又有效，就像是用现有的工具解决新问题一样。

在自我反思的实现中，研究团队设计了一套精巧的提示模板，引导模型生成高质量的反思内容。这个模板就像是一个思考框架，帮助模型系统地分析当前情况、比较不同选择、并解释为什么专家的选择更优。更重要的是，这种反思不是简单的文本生成，而是真正的推理过程，模型需要理解任务目标、分析约束条件、评估行动后果，然后得出合理的结论。

研究团队还解决了一个重要的工程问题：如何高效地生成大量的探索数据。他们设计了一套并行采样策略，能够同时在多个状态下生成多种行动选择，然后批量执行这些行动来获得结果。这种方法大大提高了数据生成的效率，就像是同时开展多个实验，而不是一个接一个地进行。

在训练过程的设计上，研究团队采用了分阶段的策略。对于隐式世界建模，他们首先用世界建模数据训练模型一个周期，然后用专家演示数据继续训练，确保模型既理解环境动态，又掌握正确的行动选择。对于自我反思，他们将反思数据与专家数据混合训练，让模型同时学习正确的行动和背后的推理逻辑。

研究团队还特别注意了数据质量的控制。他们设计了多层过滤机制，确保生成的探索数据具有足够的多样性和质量。比如在生成替代行动时，他们会确保这些行动与专家行动不同，同时又在环境中是合法的。在生成反思内容时，他们会过滤掉那些质量不高或逻辑不清的样本。

另一个巧妙的设计是对不同环境的适配策略。虽然早期经验的核心理念是通用的，但不同环境有着不同的特点和挑战。研究团队为每种环境类型设计了专门的实现细节。比如在网络环境中，他们需要处理复杂的HTML结构；在工具使用环境中，他们需要确保生成的工具调用是语法正确的；在规划任务中，他们需要考虑长期约束的一致性。

九、性能提升的深层机制：为什么早期经验如此有效

深入分析早期经验方法取得显著成效的原因，就像是探究一种新药物为什么能够治愈疾病一样令人着迷。研究团队通过详细的实验分析，揭示了这种方法成功背后的几个关键机制。

首先是环境理解的深化。传统的模仿学习就像是让学生只看到了成功案例，但从未见过失败的例子。这种单一视角限制了学生对问题全貌的理解。而早期经验方法让智能体能够看到各种不同选择的后果，包括那些看起来合理但实际上会导致问题的选择。这种多视角的学习让智能体对环境的理解更加全面和深入。

比如在网购任务中，传统方法训练的智能体可能学会了"点击蓝色衬衫"这个行动，但它并不真正理解为什么要这样做。而通过早期经验训练的智能体会尝试点击红色衬衫，然后发现这会导致价格超出预算的问题。这种对比性的学习让它真正理解了"选择商品时需要考虑价格约束"这个原则。

其次是错误恢复能力的增强。在真实应用中，智能体不可避免地会犯错误或遇到意外情况。传统方法训练的智能体由于只见过成功的路径，一旦偏离了标准轨道就很难回到正确的路线上。而早期经验训练的智能体由于见过各种不同的情况和它们的后果，具有更强的错误恢复能力。

第三是决策原则的内化。通过自我反思机制，智能体不仅学会了具体的行动，更重要的是学会了决策的原则和逻辑。这些原则是可迁移的，能够应用到新的情况中。这就像是学生不仅记住了具体的解题步骤，更重要的是理解了解题的思路和方法。

研究团队还发现了一个有趣的现象：早期经验方法在复杂任务中的改进幅度通常比在简单任务中更大。这表明当任务变得更加复杂时，传统方法的局限性变得更加明显，而早期经验方法的优势也变得更加突出。这就像是在简单的计算中，死记硬背公式也能应付，但在复杂的数学问题中，真正理解数学原理的学生会表现得更好。

另一个重要发现是早期经验方法提升了智能体的泛化能力。研究结果显示，这种方法训练的智能体在面对训练时从未见过的新情况时，表现明显优于传统方法。这种泛化能力的提升来自于智能体对环境动态和决策原则的深层理解，而不是对特定情况的记忆。

研究团队还观察到，不同的探索策略会产生不同的学习效果。适度的探索能够带来最好的性能提升，而过度探索可能会引入太多噪声，反而影响学习效果。这提示了在实际应用中需要仔细调节探索的广度和深度，就像是在学习中需要找到练习量的最佳平衡点一样。

十、现实应用的广阔前景

早期经验方法的成功为AI智能体在现实世界中的应用开辟了新的可能性，就像是为人工智能的实用化铺设了一条更加宽广的道路。

在客户服务领域，这种方法能够培训出更加智能和灵活的虚拟助手。传统的客服机器人往往只能处理预设的标准问题，一旦遇到稍有不同的情况就会不知所措。而使用早期经验方法训练的智能助手能够通过模拟与各种类型客户的交互，学会处理更加多样化的问题和情况。它们不仅能够提供标准答案，还能够根据具体情况调整回应策略，提供更加个性化的服务。

在教育领域，早期经验方法可以用来开发更加智能的个性化学习系统。这些系统能够通过观察学生的学习过程，理解不同教学策略的效果，然后为每个学生制定最适合的学习方案。更重要的是，这些系统能够从与学生的交互中不断学习和改进，就像是一个经验丰富的老师能够根据学生的反应调整教学方法一样。

在自动化办公领域，早期经验方法能够培训出更加智能的办公助手，帮助人们处理各种复杂的工作任务。比如自动整理邮件、安排会议、准备报告等。这些助手不仅能够执行标准的操作流程，还能够根据具体情况做出灵活的调整，处理那些没有标准答案的复杂情况。

在电子商务领域，这种方法可以用来开发更加智能的购物助手和推荐系统。这些系统能够真正理解用户的需求和偏好，不仅考虑用户明确表达的要求，还能够理解隐含的约束条件，提供更加精准和个性化的推荐。

研究团队特别强调，早期经验方法的一个重要优势是它的可扩展性。与传统方法需要大量高质量人工标注数据不同，这种方法主要依靠智能体自主生成的探索数据。这意味着随着应用规模的扩大，训练成本不会线性增长，这为大规模应用提供了可能。

当然，研究团队也坦诚地指出了当前方法的一些局限性。比如，当前的方法主要关注短期的状态转换，对于需要长期规划的复杂任务可能效果有限。此外，在某些对安全性要求极高的应用场景中，智能体的自主探索可能带来风险，需要更加谨慎的设计和控制。

展望未来，研究团队认为早期经验方法只是迈向真正自主学习AI的第一步。他们正在探索如何将这种方法与其他先进技术结合，比如持续学习、多任务学习等，以开发出能够在更加复杂和动态的环境中持续学习和适应的AI系统。

说到底，这项研究最令人兴奋的地方不仅在于它取得的具体技术成果，更在于它为AI的发展指明了一个新的方向。它告诉我们，AI不必永远依赖人类提供的示范，它可以通过自己的探索和思考来学习和成长。这种从被动模仿到主动学习的转变，可能正是人工智能走向真正智能的关键一步。当我们看到AI开始像人类一样从经验中学习时，我们不禁会想象，也许在不久的将来，我们会看到真正能够独立思考和持续成长的人工智能伙伴。这样的未来虽然充满挑战，但也充满了无限的可能性。

Q&A

Q1：早期经验训练方法和传统AI训练有什么区别？

A：传统AI训练像让学生只看标准答案学习，只能模仿专家演示但不知道其他选择会怎样。早期经验方法让AI主动尝试不同行动，观察结果，从自己的探索中学习。这样AI既能学会正确做法，还能理解为什么这样做更好，遇到新情况时适应能力更强。

Q2：早期经验方法需要什么样的环境条件才能使用？

A：早期经验方法最大的优势是不需要环境提供评分或奖励信号，只需要能观察到行动后的状态变化即可。比如网购时点击不同商品会看到不同页面，这种状态变化本身就是学习信号。因此它比强化学习应用范围更广，适用于大多数交互式环境。

Q3：这种方法训练出来的AI智能体比传统方法强在哪里？

A：主要强在三个方面：一是理解更深入，能预测不同行动的后果；二是适应性更强，遇到训练时没见过的新情况也能应对；三是数据效率更高，用更少的专家演示就能达到更好效果。实验显示平均成功率提高了近10个百分点，在复杂任务中提升更明显。