当前位置: 首页 » 资讯 » 科技头条 » 正文

以色列理工学院研究揭示如何让AI预测对手的下一步棋

IP属地 中国·北京 科技行者 时间:2026-05-20 18:30:51


这项由以色列理工学院(Technion – Israel Institute of Technology)数据与决策科学学院研究团队完成的研究,以预印本形式于2026年5月发布在arXiv平台,论文编号为arXiv:2605.12411。感兴趣的读者可通过该编号查阅完整论文。

**研究概要:当你的谈判对手是一个黑盒子**

假设你正在网上买一辆二手车。卖家也是个AI程序,你完全不知道它背后的逻辑——它会在什么时候降价?它对哪种说辞更容易妥协?它的底线是多少?每一个决策都可能关系到几千块钱的差距。

这不是什么科幻场景。随着AI购物助手、采购谈判机器人越来越普及,不同AI程序之间的自动化谈判已经开始出现在真实的商业场景中。Anthropic公司(Claude的开发商)甚至在2026年就已经报告了一个真实的Claude对Claude的市场交易实验。在这类场景里,你的AI代理每次都在跟一个陌生的对手打交道,对方的程序代码、提示词(也就是给AI的指令)、决策逻辑全都是秘密。

以色列理工学院的研究团队提出了一个核心问题:能不能让AI只通过观察对手的几场历史对局,就学会预测对手的下一步决策?这项研究提供了一个相当有说服力的肯定答案,而实现这一点的关键技术手段,是一个颇具创意的设计思路——让一个AI程序"偷看"另一个AI程序内心的"想法"。

一、谈判桌上的侦探游戏:问题到底是什么

要理解这项研究解决的问题,先从一个具体的场景说起。Alice是一个卖家机器人,Bob是一个买家机器人。双方在谈判一个商品的价格。第一轮,Bob出价4000美元并说"今天打折日";第二轮,Alice拒绝并报价8000美元;第三轮,Bob提出"对半分",出价6000美元;第四轮,Bob最终喊价5000美元,说"一分不能多"。

现在的问题是:Alice接下来会接受这个5000美元的报价,还是继续拒绝、提出新的数字?

这是一个现实中每天都在发生的情形。研究团队把这类问题拆分成两个具体任务。第一个叫"回应预测",是个是非题:对方会接受当前的报价吗?第二个叫"提案预测",是个填空题:如果对方拒绝了,它下一轮会报什么价?这两个任务合起来,基本覆盖了谈判中所有关键的可观察行为。

真实商业日志在研究中有一个根本性的缺陷——你无法控制实验条件,也无法知道对方的真实底线和决策依据。因此研究团队选择了一个叫做GLEE的模拟框架,这是由同一团队此前开发的一套专门用于研究AI经济博弈行为的基准系统,提供了两种类型的博弈:讨价还价(bargaining)和价格谈判(negotiation)。两类游戏都有明确的规则、可知的激励结构,以及真实的货币收益,同时允许双方用自由文本互发消息,很贴近真实的语言驱动商业场景。

二、两类不同的AI对手:侦探需要研究谁

研究团队设计了一套有趣的实验结构,用来测试预测模型的泛化能力。

训练数据来自一场13个顶级AI模型参与的"循环赛",参与者包括Claude、Gemini、GPT、Llama等多家大厂的前沿模型。这些AI都使用完全相同的提示词和游戏规则,唯一的区别是"哪家公司的哪个模型"。这场循环赛覆盖了960种不同的游戏配置,产生了约6.4万场游戏记录和19.7万个决策数据点。换句话说,这是一批"因为背后的大脑不同而行为各异"的AI。

测试数据则来自完全不同的一批AI。研究团队在2025年12月举办了一场真实的大学黑客马拉松竞赛,34支队伍为2000美元奖金展开角逐。这批参赛AI有个关键特点:它们全都基于同一个底层模型(Gemini 2.5 Flash),区别在于每支队伍的"工程化"方式——有的队伍精心设计了提示词,有的添加了规则判断逻辑,有的搭建了复杂的控制流程,有的还加了各种硬编码的特殊情况处理。不同阶段的不同版本都被计入统计,最终产生了91个独立的AI参赛者,4921场游戏,11341个决策记录。

这种训练集和测试集的刻意分离非常重要。训练时用的是"不同大脑,相同包装"的AI;测试时面对的是"相同大脑,不同包装"的AI。如果预测模型能跨越这道鸿沟,说明它学到的东西具有真正的迁移价值,而不只是记住了某几个大模型的习惯。

三、"旁观者"的力量:核心方法论解析

研究团队提出的方法论叫做"目标自适应文本表格预测",这个名字听起来有点绕,但核心思路其实非常直观。

把谈判中的每一个决策时刻都想成一行电子表格。这一行里包含了三类信息。第一类是结构化的游戏状态数据:现在是第几轮、游戏规定最多可以谈几轮、当前的报价是多少、之前每轮的报价历史、双方的折扣因子(衡量拖延代价的参数)等等。第二类是对话文本信息:双方在谈判过程中发的消息,通过一个句子编码器转化成数字向量。第三类就是这项研究最核心的创新——"旁观者表示"(Observer Representation)。

"旁观者"这个概念值得详细介绍。研究团队用了一个小型的、参数冻结的语言模型(也就是不再训练它,只是借用它已有的能力),让它读取当前的游戏状态和对话内容,然后问它一个问题:下一步对方会接受还是拒绝?

关键的地方来了:研究团队完全不在意这个小模型给出什么答案。他们要的是这个模型在"思考"这个问题的过程中,内部神经网络产生的隐藏状态——也就是那些中间层的激活值向量。这些向量捕捉了模型在理解这个谈判场景时,内部激活的各种复杂关联。

用一个类比来理解:一位有经验的棋手看到棋盘上的局势,虽然嘴上说出来的可能是"这步棋不好",但他在做出这个判断之前,脑子里经历了大量复杂的模式识别——棋形、气势、子力对比、后手的可能性……这些中间思考过程包含的信息,远比那句简短的口头结论丰富得多。研究团队的方法,就是把这个中间思考过程本身作为特征,交给后续的预测模型去使用。

这个小旁观者模型有一个关键设计原则:它完全不知道被预测的目标AI是谁,也没有看过那个AI的历史对局。它只是一个冷静的"旁观者",把眼前这个谈判场景理解透彻,然后把自己的理解编码成向量。真正的"自适应"——也就是学习特定目标AI的行为习惯——是由后续的表格预测模型来完成的。

四、把三种信息拼在一起:表格预测模型的运作方式

研究团队用来整合这三类特征的工具叫做TabPFN,这是一种专门为小样本表格数据设计的基础预测模型,无需针对新任务重新训练,只需把带标签的例子直接放进上下文就能预测新样本。

具体来说,对于每一个新的目标AI,预测系统的运作方式如下:首先,把之前见过的13个训练源AI的所有历史决策记录作为"群体先验"——这些是有标签的行数据,告诉预测模型在各种游戏情形下,不同类型的AI通常会怎么决策。然后,把目标AI的K场历史对局(K可以是0、2、4、8或16)也放入上下文,这些特定于目标AI的样本帮助预测模型理解"这个具体的AI和一般AI有什么不同"。在每一行数据里,同时包含游戏状态特征、对话文本特征,以及来自旁观者LLM的隐藏状态特征。最后,用一个特殊的"身份标识"列标明每行数据来自哪个AI,让预测模型能区分群体规律和个体特征。

这套设计的妙处在于分工明确。语言模型负责"理解场景",把复杂的文字对话转化成决策导向的表示;表格预测模型负责"认识个体",把群体规律和目标AI的少量样本结合起来,给出具体预测。两者各司其职,比让一个大模型同时做两件事更有效率。

研究团队还设计了一个重要的对比方案,叫做"预测者LLM"(LLM-as-Predictor):直接把当前游戏状态、对话历史、目标AI的K场历史对局全部塞进一个大型前沿语言模型的提示词里,让它直接输出预测结果。这是最直觉性的做法,也是很多人首先会想到的方案,研究团队用它来检验自己的方法有没有真正的优势。

五、数字背后的故事:实验结果详解

实验结果明确地支持了研究团队的方法论,但细节中有很多值得关注的差异。

在"回应预测"(接受还是拒绝)这个任务上,旁观者LLM方法的表现相当亮眼。评估指标是AUC(可以理解为预测准确性的综合得分,0.5是随机猜测,1.0是完美预测)。

以讨价还价游戏为例,当提供16场历史对局(K=16)时,纯游戏+文本特征基准达到了0.791的AUC;直接让Gemini 2.5 Flash作为预测者,只达到0.770;而加入旁观者隐藏状态的方法(以Gemma-2-2B旁观者为例)则达到了0.831,比基准高出4个百分点,比直接LLM预测高出6个百分点。

在价格谈判游戏里,差距更加显著。游戏+文本基准在K=16时达到0.803;直接LLM预测达到0.785;最好的旁观者方法(Qwen3-1.7B旁观者)达到0.852,比基准高出约5个百分点,比直接LLM预测高出近7个百分点。

更值得关注的是,即使在K=0(完全没有目标AI的历史对局数据)的情况下,旁观者方法仍然优于纯游戏特征基准。这意味着旁观者捕捉到的隐藏状态特征本身就携带了超越结构化游戏信息的预测信号,不依赖于目标特定的适应样本。

在"提案预测"(下一轮报价是多少)这个回归任务上,结果更为微妙,呈现出明显的任务依赖性。在讨价还价游戏里,旁观者方法有稳定的帮助。研究团队选用Gemma-2-2B旁观者作为代表性案例,K=16时将R?(可以理解为预测精度的指标,0意味着跟猜平均值一样差,1意味着完美预测)从0.622提升到0.676。转化成具体数字:对于一个总金额10000美元的讨价还价场景,预测误差从552美元降低到473美元,降幅约14%。在价格谈判游戏里,游戏+文本基准在K=16时已经达到了0.857的高R?,旁观者方法没有带来进一步的显著提升。这个差异有清晰的逻辑解释:价格谈判的结构更简单、历史出价规律更强,有足够的数据后纯数值特征就能预测得很准;而讨价还价的博弈更依赖语言表达的策略信号,旁观者的文本理解能力因此更加关键。

直接LLM预测方案在提案预测这个任务上的表现尤为糟糕。讨价还价游戏里,即使给了16场历史对局,直接LLM预测的R?仍然是负数——比随机猜测均值还要差。价格谈判里虽然好一些,但也远不如纯游戏特征基准。这个结果揭示了语言模型在处理精确数值回归问题上的根本局限:它生成文字的方式(一个token一个token地预测)天然不适合输出精确校准的连续数值。

六、解剖旁观者:为什么隐藏状态比直接答案更有价值

研究团队专门设计了一组对比实验来回答一个关键问题:旁观者的价值到底来自哪里——是它给出的"接受/拒绝"概率,还是它内部的隐藏激活向量?

实验结果非常清晰。单独使用Gemma-2-2B旁观者输出的"接受概率"(也就是它的直接预测值),在讨价还价游戏里只能达到0.585的AUC,在价格谈判游戏里只有0.464,连随机猜测都好不了多少。而使用游戏特征加上旁观者隐藏状态,在讨价还价里达到0.793,在价格谈判里达到0.838。把两者都用上(0.791和0.835)并不比只用隐藏状态更好,说明直接输出的概率值基本是多余的。

这个发现传递了一个重要信号:语言模型在"思考"一个情境时,内部产生的中间表示,包含了远比它的输出答案更丰富的信息。就像一个经验丰富的侦探,他扫视现场时脑子里激活的那些关联和直觉,远比他写在报告里的结论更有信息量。

为了确认这个结论不是偶然,研究团队用了三个完全不同来源的旁观者模型:谷歌的Gemma-2-2B(26层,26亿参数)、阿里巴巴的Qwen3-1.7B(28层,17亿参数)和Meta的Llama-3.2-1B(16层,12亿参数)。三个模型的结果高度一致——隐藏状态始终优于直接输出,不同提供商之间的差异很小。这排除了"旁观者恰好和测试AI用了相同训练数据"的可能性解释,说明隐藏状态携带决策信号这一结论是稳健的。

研究团队还检验了"用哪一层的隐藏状态最好"。结果显示,模型中后段约60%到90%深度位置的各层都表现相似,不需要精心挑选特定层次,只要平均中后段的隐藏状态就能获得稳定的提升。这意味着预测信号是中后段表示的稳定属性,而非某一特殊层的偶发现象。

七、拆开再看:各组成部分各自贡献了什么

研究团队还做了一组系统的消融实验,把模型的各个部分逐一去掉,观察对性能的影响。

去掉游戏状态特征(G)的代价最为惨重,尤其在价格谈判里,性能从0.826的AUC大幅跌落至0.615。这说明结构化的数值特征是整个预测系统的支柱,提供了关于激励、历史报价和理性行为空间的基本信息。去掉旁观者特征(O)在讨价还价里导致AUC从0.831降至0.791,在提案预测里R?从0.689降至0.616,降幅明显但非灾难性。有趣的是,去掉文本表示(T)的影响在加入旁观者之后变得相当有限——旁观者的隐藏状态已经充分覆盖了对话的语义内容,通用的句子编码器提供的额外信息很少。去掉身份标识(I)同样会带来明显性能下降,尤其在价格谈判里AUC从0.826降至0.817,说明让预测模型知道"这行数据来自哪个AI"对适应新目标至关重要。

这个分析勾勒出了整个方法的内在逻辑:游戏特征打底,提供理性行为的基础判断;旁观者特征补充,把对话中策略性语言信号转化为数值;身份标识赋能,让预测模型能区分群体规律和个体偏差;K场历史对局适配,帮助模型快速认识新目标的具体行为风格。四者缺一不可,但贡献各有侧重。

**结论**

说到底,这项研究的核心贡献可以用一句话概括:预测一个陌生AI的决策,最好的方式不是让另一个大AI去"模仿"它,而是把这个问题拆解成理解场景和适应个体两个分工明确的步骤,然后分别交给最擅长这两件事的工具去做。

这个思路颠覆了一个看似合理的直觉——既然大型语言模型能读懂对话、能做推理,为什么不直接让它来预测?研究结果给出了清晰的回答:大型语言模型在理解场景上确实很强,但在把少量样本和大规模群体数据结合起来做校准数值预测这件事上,表格模型有结构性优势。更重要的是,大模型隐藏层里流动的中间表示,比它吐出来的最终答案包含更多决策相关的信号——这个发现对AI内部表示的研究社区来说,也是一个有意思的观察。

对于普通用户来说,这项研究的直接意义在于:随着AI代理越来越多地代表人类进行商业谈判,"认识你的对手"这件事可以被系统化、自动化。只需要观察对手的几场对局,就能建立起一个相当有用的行为预测模型,而且这个模型适用于各种各样的陌生AI——无论对方用的是什么底层模型、什么提示策略。

当然,这项研究也有它诚实的局限。所有实验都在受控的模拟游戏框架里进行,现实中的商业谈判要复杂得多。训练数据来自大型AI公司的前沿模型,如果遇到的对手风格完全不在这个范围内,效果可能打折。还有一个值得思考的伦理问题:当预测对手行为的能力越来越强,谁在使用这种能力、是否向对方透明告知,可能会成为未来AI商业伦理的重要议题。

有兴趣深入探究的读者,可以在arXiv平台通过编号2605.12411找到完整论文和相关代码。

Q&A

Q1:旁观者LLM方法和直接用大模型预测有什么本质区别?

A:旁观者LLM方法把语言模型当成一个"场景理解编码器",提取它在思考谈判情境时内部产生的隐藏激活向量,然后把这些向量交给表格预测模型来做最终判断。直接用大模型预测则是把所有信息塞进提示词,让模型直接输出答案。前者能把场景理解和目标适应两件事分开处理,还能结合大量历史数据;后者只能靠提示词里的少量样本,且在输出精确数值时有结构性弱点。实验证明前者在大多数情况下更准确,尤其是在需要预测具体报价数字时,直接大模型预测甚至比随机猜测还差。

Q2:K值(历史对局数量)对预测准确率有多大影响?

A:影响相当显著。以讨价还价游戏的回应预测为例,旁观者方法在K=0(没有历史对局)时AUC约为0.666,随着K增加到16场对局,AUC提升到0.831,提升幅度接近17个百分点。有趣的是,即使K=0也能超过纯游戏特征基准,说明旁观者隐藏状态本身就有独立价值。随着观察对局增多,模型对目标AI个体风格的把握越来越准。总体规律是K越大越好,但边际收益递减,从8到16的提升明显小于从0到4的提升。

Q3:黑客马拉松数据集中的91个AI都有哪些类型的差异?

A:这91个AI来自34支大学参赛队伍在不同竞赛阶段提交的版本(每支队伍每个阶段算一个独立版本)。它们全都基于Gemini 2.5 Flash这一个底层模型,差异完全来自队伍各自的工程设计:有的在提示词上做了精心设计,有的加入了复杂的控制逻辑来决定什么情况下一定接受或拒绝,有的设置了规则化的出价策略,有的把多种方法组合在一起。这种"相同大脑、不同包装"的多样性正是研究团队想要的测试条件,用来验证预测方法能否迁移到训练时从未见过的AI类型。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。