这项由华盛顿大学和艾伦人工智能研究院联合开展的研究发表于2026年2月的arXiv预印本平台，论文编号为arXiv:2602.19313v1，有兴趣深入了解的读者可以通过该编号查询完整论文。

当我们教孩子做家务时，通常会在他们完成每个步骤后给予鼓励和指导。比如整理房间时，我们会说"很好，你把书放回书架了"或者"现在该收拾桌子了"。这种及时的反馈帮助孩子明白什么是正确的，什么需要改进。然而，在机器人世界里，给机器人提供这种细致入微的反馈一直是个巨大挑战。

想象一下，如果你要教一个机器人叠毛巾，传统方法需要人类工程师花费大量时间，像编写详细说明书一样，为每个动作步骤设计复杂的奖励信号。这个过程不仅耗时耗力，还很难推广到新任务上。就好比每次教孩子一个新技能，都要重新编写一本厚厚的教学手册一样繁琐。

研究团队注意到，目前最先进的视觉语言动作模型虽然在理解和执行指令方面表现出色，但它们在强化学习方面的进展却受到了严重阻碍。这主要是因为现实世界中的奖励信号往往很稀疏，就像一个学生只有在期末考试时才知道自己这学期学得怎么样，缺乏日常的进度反馈。

为了解决这个问题，研究团队开发了一种名为TOPReward的创新方法。这个方法的巧妙之处在于，它不再要求视觉语言模型像学生答题一样输出具体的进度数值，而是像医生听诊一样，直接"倾听"模型内部的"心跳"——也就是分析模型对不同词汇的置信度分布。

具体来说，研究团队发现了一个有趣的现象：当我们问一个视觉语言模型"这段机器人操作视频是否完成了指定任务"时，模型对"真"这个词的置信度会随着任务的进展而逐渐提高。这就像一个品酒师通过观察红酒的颜色变化来判断发酵进度一样，不需要品尝，仅凭视觉观察就能得出结论。

传统的方法面临一个根本性问题：大型语言模型在生成精确数值时表现得并不可靠。就像让一个艺术家画一幅画很容易，但让他精确地说出画布上有多少个红点却很困难。研究团队巧妙地绕过了这个限制，不再要求模型输出"任务完成了85%"这样的数值，而是简单地询问"任务是否完成"，然后分析模型内部对"是"的确信程度。

为了验证这种方法的有效性，研究团队构建了一个名为ManiRewardBench的综合测试平台。这个平台就像一个大型的机器人技能考试中心，包含了130多个不同的真实世界操作任务，涵盖了从简单的物体抓取到复杂的多步骤操作等各种场景。这些任务分布在多个不同的机器人平台上，包括Franka机械臂、YAM单臂和双臂系统，以及SO-100/101系列机器人。

测试结果令人印象深刻。在开源模型Qwen3-VL上，TOPReward方法实现了0.947的平均价值顺序相关性，这个指标衡量的是预测的任务进度与实际时间顺序的匹配程度。相比之下，现有最先进的GVL方法在同样的开源模型上几乎完全失效，相关性接近于零。这种差异就像一个学生的考试成绩从不及格突然跳到了优秀。

研究团队还发现了一个有趣的现象：使用聊天模板会显著降低方法的性能。这提示我们，进度估计任务更适合模型的原始预训练目标，而不是经过指令微调后的对话模式。这就像让一个专业的钢琴演奏家弹奏古典音乐比让他们模仿流行歌手唱歌更能发挥专长一样。

一、破解机器人学习的关键难题

在机器人学习领域，有一个长期存在的根本性挑战，就像教练训练运动员时面临的困境：如何在每个训练环节给出恰当的反馈和指导。在传统的机器人强化学习中，工程师需要为每个具体任务精心设计奖励函数，这个过程既繁琐又难以扩展。

考虑这样一个场景：你想教机器人学会整理厨房。按照传统方法，工程师需要为"拿起盘子"给+5分，为"把盘子放进洗碗机"给+10分，为"关上洗碗机门"再给+15分。这种方式不仅需要大量的人工设计工作，还面临一个更严重的问题——这套评分标准很难适用于其他任务，比如整理客厅或打扫浴室。

现有的解决方案主要分为两大类。第一类是基于大规模数据训练专门的奖励模型。比如RoboReward和RoboDopamine这样的系统，它们通过分析数千小时的机器人操作数据来学习如何评估任务完成情况。然而，这种方法需要大量的标注数据，而且在面对新环境或新机器人时往往表现不佳，就像一个只在某个特定学校教过书的老师，换到新学校可能就不那么得心应手了。

第二类方法试图利用预训练的视觉语言模型的零样本能力。其中最具代表性的是GVL方法，它的思路是让模型观看一系列打乱顺序的视频帧，然后要求模型为每一帧分配一个0到1之间的进度分数。这个想法很聪明，类似于让一个有经验的厨师看一组烹饪过程的照片，然后按照菜品完成度重新排序。

但问题在于，当前的开源视觉语言模型在执行这类需要精确数值输出的任务时表现很糟糕。这不是因为它们缺乏视觉理解能力，而是因为数值生成本身就是大型语言模型的一个已知弱点。就像一个艺术评论家能够精准地判断两幅画的优劣，但如果你让他给每幅画打一个1到100的精确分数，他可能就会犹豫不决。

研究团队敏锐地意识到，问题的根源不在于模型的理解能力不足，而在于表达方式的局限性。他们提出了一个关键洞察：与其让模型生成复杂的数值输出，不如直接访问模型的内部"信念"状态。这就像不问医生"患者康复了百分之几"，而是观察医生在说"患者已经康复"时的确信程度。

这种方法的核心理念是利用概率分布作为连续信号。当模型在判断"任务是否完成"时，它对"真"这个词的预测概率实际上反映了模型对任务完成度的内在信念。随着视频中任务的逐步进展，模型对"任务已完成"这个判断的置信度会相应提高，形成一条平滑的进度曲线。

二、TOPReward方法的工作原理

TOPReward方法的核心思想可以用一个简单的比喻来理解：就像观察一个人在回答问题时的肯定程度，而不是听他具体说出的答案。当我们问某人"你确定明天会下雨吗？"时，一个非常确信的人会毫不犹豫地说"是的"，而一个不太确定的人可能会犹豫或者语气不够肯定。TOPReward利用的正是这种内在的确信度信号。

具体的实现过程如下：研究团队首先构造了一个标准化的提示模板。他们会向视觉语言模型展示一段机器人操作的视频片段，然后提出一个简单的判断问题："上述视频显示机器人成功完成了以下任务：[具体任务描述]。请判断这个陈述是真还是假。"

关键的创新在于，研究团队不关心模型最终输出的是"真"还是"假"，而是分析模型在生成"真"这个词时的内部概率分数。这个概率分数就像一个内置的置信度计量器，数值越高表示模型越相信任务已经完成。

为了生成完整的任务进度曲线，研究团队会对视频的不同前缀片段重复这个过程。比如对于一个60秒的机器人叠毛巾视频，他们可能会分析前10秒、前20秒、前30秒等等不同时间点的片段。每个时间点都会得到一个对应的置信度分数，将这些分数连接起来就形成了一条反映任务进展的曲线。

在数据处理方面，由于原始的对数概率值范围是负无穷到0，研究团队采用了最小-最大归一化的方法将其映射到0到1的标准进度区间。这就像将不同温度计的读数统一转换为标准的摄氏度刻度一样，确保结果的可比较性。

对于需要逐步奖励信号的下游应用，比如强化学习中的优势权重回归，研究团队还开发了一个巧妙的转换机制。他们计算相邻时间点之间的进度增量，然后使用指数函数进行放大，同时设置最大值限制以防止某些动作获得过高的权重。这确保了奖励信号既能反映真实的任务进展，又能保持数值稳定性。

值得注意的是，研究团队发现不使用聊天模板的效果更好。在他们的消融研究中，添加聊天模板会显著降低性能，在Qwen3-VL模型上甚至导致近50%的性能下降。这个发现提示我们，进度估计任务可能更适合模型的原始预训练目标，而不是经过指令微调后的对话格式。

三、ManiRewardBench：全面的机器人操作评测基准

为了全面评估TOPReward方法的效果，研究团队构建了一个前所未有的大规模评测平台——ManiRewardBench。这个评测基准就像一个综合性的机器人技能考试中心，涵盖了现实世界中可能遇到的各种操作场景。

ManiRewardBench包含了130个独特的操作任务，这些任务经过精心设计，涵盖了从简单的物体操作到复杂的多步骤推理等各个难度层次。在多步骤推理类任务中，有一个特别有趣的挑战叫"推动拼图块拼出GO字"，这需要机器人不仅具备空间推理能力，还要能够顺序执行多个物体操作。另一个复杂任务是"建造金字塔"，它需要四个不同的子任务：选择合适的积木、精确定位、按层堆叠，以及保持结构稳定。还有一项叫"按颜色分组立方体"的任务，要求机器人识别不同颜色的物体并进行分类重组。

在精细操作控制方面，评测基准包含了一些对精度要求极高的任务。比如"水平对齐立方体"任务对应着数据集中执行时间最长的操作，因为它需要毫米级的精确控制。"将香蕉旋转90度"和"将记号笔旋转45度"这类任务考验的是机器人对角度的精确控制能力。"倒茶"任务则需要机器人掌握复杂的空间定向和力控制技巧。

可变形物体处理是另一个重要的测试领域。"叠毛巾"任务要求机器人处理柔软且形状不固定的材料，这需要完全不同于刚性物体的操作策略。"将一块布叠在另一块布上"的任务进一步增加了难度，因为涉及到两个可变形物体之间的相互作用。

评测基准还包含了一些抽象和符号性的任务。"按回车键然后按空格键"考验的是机器人执行顺序操作的能力，以及对符号指令的理解。"摆桌子"是一个开放性任务，需要机器人理解餐桌摆设的常识性规则。

数据收集涵盖了四个不同的机器人平台，确保了评测的广泛性和实用性。Franka机械臂系列提供了工业级精度的操作场景，SO-100和SO-101系列代表了标准化的研究平台，而YAM系统的单臂和双臂配置则模拟了不同复杂度的操作需求。

每个任务都经过了详细的子任务标注。研究团队为每个操作序列手工标注了不同阶段的开始和结束时间。比如在"清理桌子"任务中，整个过程被分解为"抓取罐子"、"将罐子放入盘子"、"抓取勺子"、"将勺子放入盘子"四个连续的子任务，每个子任务都有精确的时间标记。这种精细化的标注使得研究人员能够评估奖励模型是否能准确捕捉任务的内在进展结构。

评测基准还特意包含了失败轨迹数据。在23个任务的156个执行片段中，既有成功的操作也有失败的尝试。这种设计对于测试奖励模型的鲁棒性至关重要，因为一个优秀的评估系统应该能够区分成功和失败的操作，而不仅仅是对成功案例进行排序。

四、实验结果与性能评估

研究团队在两个大规模数据集上进行了comprehensive评估：Open X-Embodiment数据集和他们自建的ManiRewardBench。Open X-Embodiment是一个包含50个学术机器人数据集的庞大集合，研究团队从中选择了39个子数据集，每个数据集随机采样20个操作序列进行测试。

在Open X-Embodiment数据集上的结果清晰地展现了TOPReward相对于传统GVL方法的优势。在开源模型Qwen3-VL上，TOPReward达到了0.857的价值顺序相关性分数，而GVL方法只有0.194，这意味着TOPReward在预测任务进度方面比GVL准确了四倍多。在Molmo2模型上，这种差距同样显著：TOPReward获得了0.417的分数，而GVL甚至出现了负值（-0.016），表明其预测结果比随机猜测还要差。

有趣的是，在专有模型Gemini-2.5-Pro上，情况有所不同。GVL方法在这个强大的专有模型上表现相对较好（0.541），而TOPReward的表现稍逊（0.433）。研究团队通过后续的消融研究发现，这主要是因为Gemini的API强制使用聊天模板，而TOPReward在没有聊天模板的情况下表现最佳。

在ManiRewardBench数据集上，TOPReward展现出了令人印象深刻的一致性表现。在四个不同的机器人平台上，Qwen3-VL模型配合TOPReward都达到了0.942到0.954的高分，这种跨平台的稳定性证明了方法的泛化能力。相比之下，GVL方法在不同平台上的表现极不稳定，在某些平台上甚至接近于零。

定性分析结果同样令人鼓舞。研究团队绘制的任务进度曲线显示，TOPReward能够产生平滑、单调递增的进度信号，这些信号与人工标注的子任务边界高度吻合。以"叠毛巾"任务为例，TOPReward识别出的进度曲线准确反映了"抓取毛巾角落"、"提起毛巾"、"对折毛巾"等关键操作节点。在多步骤任务中，进度曲线甚至能够识别出中间的平台期，对应于机器人在子任务之间的过渡阶段。

五、成功检测能力的验证

传统的价值顺序相关性指标存在一个根本性局限：它只关心预测值的相对顺序，而不考虑绝对完成水平。这就像一个只能判断学生考试答卷先后顺序，但分不清及格与不及格的评分系统。研究团队通过一个巧妙的思想实验揭示了这个问题：即使一个任务只完成了30%就停滞不前，只要其内部进度是单调递增的，VOC指标仍然会给出很高的分数。

为了验证TOPReward在成功检测方面的实际效用，研究团队在ManiRewardBench的失败轨迹数据集上进行了二元分类测试。这个数据集包含23个任务的156个操作片段，其中既有成功完成的操作，也有各种失败情形。对于TOPReward，研究团队使用最后3个采样帧的平均对数概率作为成功指标；对于GVL，则使用VOC分数本身作为判断依据。

结果表明，在开源模型Qwen3-VL上，GVL的成功检测能力基本等同于随机猜测（ROC-AUC为0.519），而TOPReward达到了0.654的较好表现，提升幅度达到135个基点。这个差距的产生有其深层原因：GVL要求模型生成精确的数值输出，这正是开源模型的弱点；而TOPReward只需要模型对一个二元判断表达置信度，这与模型的训练目标更加匹配。

在专有模型Gemini-2.5-Pro上，两种方法的表现相当接近（GVL为0.823，TOPReward为0.826）。这个结果验证了研究团队的假设：VOC失效模式在底层模型已经具备良好校准能力的情况下并不明显，而主要出现在开源模型面临复杂数值生成任务时。

成功检测能力的提升对实际应用具有重要意义。在自动化数据集筛选场景中，TOPReward可以帮助研究人员自动识别高质量的演示数据，过滤掉失败或不完整的操作记录。在在线学习环境中，准确的成功检测能够为强化学习算法提供关键的终止信号，避免智能体在失败的轨迹上继续探索。

六、实际应用中的优势权重行为克隆

为了验证TOPReward在实际机器人学习中的价值，研究团队设计了一个综合性的真实世界实验。他们选择了单臂SO-100机器人平台，这是一个标准化的研究级机器人系统，在学术界广泛使用。实验包含六个不同复杂度的操作任务：将玩具车放入盒子、将红色立方体堆叠在绿色立方体上、将笔放入杯子、将玩偶放入盒子、拿起立方体，以及将立方体放入杯子。

实验的设计思路基于优势权重回归的概念。这种方法的核心思想是，不是所有的演示数据都同等重要——一些动作对任务成功贡献更大，应该在学习过程中被赋予更高的权重。传统的行为克隆方法将所有演示动作视为平等，就像一个学生机械地复制整篇范文，而不理解哪些段落是关键的论证，哪些只是过渡性内容。

研究团队首先从公开的单臂SO-100数据集上预训练了一个基础策略模型，该模型接受了200小时的操作数据训练。然后，对于每个测试任务，他们收集了50个新的演示样本。这些演示数据可能包含噪声或次优操作，更真实地反映了实际数据收集的情况。

TOPReward在这个场景中的作用是为每个状态-动作对计算价值估计。研究团队将这些价值转换为优势信号，具体方法是从每个价值中减去该演示序列的平均价值。然后，他们使用这些优势权重来指导基础策略的微调过程，采用流匹配损失函数，这是一种能够处理连续动作空间的先进优化技术。

实验结果令人鼓舞。在所有六个任务上，基于TOPReward优势权重的方法都显著优于标准的行为克隆基线。最显著的改进出现在"将玩偶放入盒子"和"拿起立方体"两个任务上，两种方法都从较低的成功率（分别为7和7次成功，满分10次）提升到了完美表现（10/10）。其他任务也都有实质性提升，比如"将立方体放入杯子"从6次成功提升到9次，"将笔放入杯子"从5.67次提升到6.33次。

这些改进的背后反映了TOPReward捕捉操作质量细微差别的能力。在"将玩偶放入盒子"任务中，成功的关键往往在于精确的抓取姿态和流畅的放置轨迹。TOPReward能够识别出演示数据中这些关键时刻，并在训练过程中给予更高权重。相比之下，标准行为克隆可能会同等对待所有动作，包括那些对任务成功贡献较小的过渡性动作。

值得注意的是，即使是预训练的基础模型也表现不佳，这说明单纯的大规模预训练并不能保证在特定任务上的良好表现。这个发现强调了任务特定微调的重要性，以及高质量奖励信号在这个过程中的关键作用。

七、技术细节与实现考量

TOPReward方法的成功不仅依赖于核心算法思想，还涉及许多精心设计的技术细节。研究团队在开发过程中遇到了多个需要仔细权衡的设计选择，每个决策都可能显著影响最终性能。

在词汇选择方面，研究团队对比了多个可能的完成指示词，包括"真"、"是"、"完成"等。通过详细的对比分析，他们发现"真"这个词在成功和失败轨迹之间展现出最大的概率差异。这个发现并非偶然——"真"作为一个基础的逻辑判断词，在大型语言模型的训练过程中出现频率很高，因此模型对其语义表示更加稳定和可靠。

提示模板的设计也经过了反复优化。最终采用的模板形式简洁明确："上述视频显示机器人成功完成了以下任务：[任务描述]。请判断这个陈述是真还是假。答案是："这种表述方式避免了复杂的指令格式，更接近模型预训练时遇到的自然文本模式。

前缀采样策略的选择同样重要。研究团队选择了均匀间隔的时间点采样方法，而不是基于关键帧检测或其他复杂策略。这种简单方法的优势在于计算效率高且结果稳定，虽然可能错过一些关键的瞬间变化，但在大多数任务中都能提供足够的时序信息。

归一化技术是确保方法稳健性的关键组件。最小-最大归一化虽然简单，但能够有效地将原始对数概率值映射到标准的0-1区间。研究团队还加入了一个小的epsilon项来防止除零错误，这种数值稳定性考虑在实际部署中非常重要。

对于下游应用的奖励转换，研究团队设计了一个巧妙的指数放大机制。这个机制通过计算相邻时间点的进度增量，然后应用指数函数进行放大，同时设置最大值限制。这种设计既能放大重要动作的权重差异，又能防止某些动作获得过于极端的权重值。

聊天模板的影响是一个意外但重要的发现。在消融研究中，研究团队发现添加标准的聊天模板会显著降低性能。在Qwen3-VL模型上，这种性能下降达到了47%，在Molmo2模型上也有近20%的下降。这个现象提示我们，不同类型的任务可能需要不同的模型交互方式，盲目应用标准化接口可能适得其反。

八、方法局限性与未来改进方向

尽管TOPReward方法在多个测试场景中表现出色，但研究团队坦诚地指出了当前方法的一些内在局限性。这些局限性的认识对于理解方法的适用边界和指导未来改进方向具有重要价值。

最显著的局限来自底层视觉语言模型的感知能力边界。TOPReward的性能上限受制于所使用的视觉模型的理解能力。对于需要细微空间推理的任务，比如精确对齐操作或小物体操作，如果底层模型无法从视觉上区分中间状态的细微差别，那么TOPReward也就无法提供有意义的进度信号。这就像让一个近视的人判断远处两个物体的相对位置，即使方法再巧妙也无法克服感知本身的限制。

当前的归一化策略也存在一定的限制性。由于采用了逐序列的最小-最大归一化，不同轨迹之间的绝对进度值无法直接比较。这在某些应用场景中可能造成问题，比如当我们需要在大批量数据中选择最优演示样本时，当前方法无法提供跨序列的一致性评估。

计算效率是另一个需要考虑的因素。为了生成完整的进度曲线，TOPReward需要对视频的多个前缀分别进行推理，这导致计算成本与采样点数成正比增长。在需要实时反馈的应用场景中，这种计算开销可能成为实际部署的障碍。

方法对视频质量的依赖性也值得注意。在光照条件差、视角受限或者存在遮挡的情况下，视觉模型的判断可能变得不可靠，进而影响TOPReward的评估准确性。这在实际的机器人部署环境中是一个不可忽视的考虑因素。

语言指令的歧义性可能带来另一层挑战。对于一些表述模糊或者存在多种合理解释的任务描述，模型可能难以形成一致的完成标准。这种情况下，TOPReward的输出可能会出现不稳定或者与人类期望不符的情况。

尽管存在这些局限性，研究团队对方法的发展前景保持乐观。他们指出，随着视觉语言模型能力的持续提升，TOPReward的性能天花板也会相应提高。未来的改进方向可能包括开发更高效的采样策略、设计跨序列一致的归一化方法，以及探索多模态信息融合等技术路径。

九、对机器人学习领域的深远影响

TOPReward方法的提出不仅解决了一个具体的技术问题，更重要的是，它展现了一种全新的思维范式，可能对整个机器人学习领域产生深远影响。这种影响体现在多个层面，从基础研究方法到实际应用策略都可能发生根本性变化。

在理论层面，TOPReward挑战了传统的奖励工程范式。过去几十年来，机器人学习领域一直在寻求如何有效地将人类知识编码为机器可理解的奖励信号。这个过程往往需要大量的专家经验和反复的试错调整，就像手工艺人精心雕琢每一个细节。TOPReward的出现表明，我们可能不需要如此复杂的人工设计，而是可以直接利用大型模型中已经编码的常识性知识。

这种方法论上的转变具有革命性意义。它暗示着机器人学习可能正在从"工程驱动"向"数据驱动"的范式转换。在新的范式下，关键不再是如何设计精巧的奖励函数，而是如何更好地利用和解释预训练模型中蕴含的世界知识。这种转变类似于计算机视觉领域从手工特征设计到深度学习的历史性转折。

在实际应用层面，TOPReward的零样本特性使得机器人系统的部署变得更加灵活和高效。传统方法需要为每个新任务重新设计和调试奖励函数，这个过程可能需要数周甚至数月的时间。而TOPReward只需要提供任务的自然语言描述，就能立即开始工作。这种即插即用的特性极大降低了机器人系统的部署门槛。

对于机器人教育和研究来说，这种方法的普及可能带来民主化的效应。以前，只有具备深厚专业知识的研究团队才能有效地进行复杂的机器人学习实验。而TOPReward的简单性使得更多的研究者和学生能够参与到机器人学习的研究中来，这可能加速整个领域的发展速度。

从产业角度来看，TOPReward可能催生新的商业模式和应用场景。由于不再需要大量的专家时间进行奖励设计，机器人解决方案的开发成本可能显著降低。这种成本结构的改变可能使得机器人技术在更多垂直领域得到应用，从家庭服务到工业自动化都可能受益。

然而，这种技术进步也带来了新的挑战和考虑。随着机器人系统变得更加依赖大型语言模型的判断，如何确保这些判断的可靠性和安全性变得至关重要。我们需要开发新的验证和监督机制，确保机器人在执行任务时的行为符合人类的价值观和安全标准。

TOPReward还可能推动机器人学习向更加通用和灵活的方向发展。传统的机器人系统往往针对特定任务进行优化，难以适应新的需求。而基于自然语言描述的奖励系统天然具有更好的泛化能力，可能为真正通用的机器人智能奠定基础。

最终，TOPReward代表了人工智能和机器人学习领域一个重要的发展趋势：从复杂的工程化解决方案向简洁而强大的原理性方法转变。这种转变不仅提高了技术的实用性，也为我们理解和构建智能系统提供了新的视角。随着这类方法的不断完善和推广，我们有理由相信机器人技术将更快地走向成熟和普及。

说到底，TOPReward的真正价值不仅在于解决了一个具体的技术难题，更在于它开启了一扇通向更智能、更灵活机器人系统的大门。在这个快速发展的时代，这样的技术突破为我们描绘了一个机器人与人类更加和谐共处的未来图景。当机器人能够更好地理解和响应人类的需求时，我们距离真正的智能化社会就又近了一步。研究团队的这项工作不仅推动了学术研究的边界，也为整个社会的技术进步做出了实质性贡献。有兴趣深入了解这项研究的读者可以通过论文编号arXiv:2602.19313v1查询完整的技术细节和实验数据。

Q&A

Q1：TOPReward方法与传统的机器人奖励设计有什么不同？

A：传统方法需要工程师为每个任务精心设计复杂的奖励函数，就像为每个新菜谱都要重新编写详细的评分标准。而TOPReward直接利用视觉语言模型的内部"信念"，通过分析模型对"任务是否完成"这个简单问题的确信程度来评估进度，无需任何人工设计。

Q2：为什么TOPReward在开源模型上比闭源模型效果更好？

A：这主要是因为闭源模型的API强制使用聊天模板，而TOPReward在原始的预训练格式下表现最佳。研究发现添加聊天模板会导致性能下降近50%，这说明进度估计任务更适合模型的原始训练目标，而不是对话式的交互模式。

Q3：TOPReward方法能应用到哪些实际场景中？

A：TOPReward可以广泛应用于机器人学习的多个环节，包括自动筛选高质量的训练数据、为强化学习提供密集奖励信号、检测任务完成状态，以及指导机器人策略的改进。特别是在需要快速部署到新任务的场景中，它的零样本特性能显著降低开发成本和时间。