这项由Allen AI人工智能研究所联合佐治亚理工大学SHI实验室、华盛顿大学等多家顶尖机构共同完成的研究，发表于2025年12月的arXiv预印本平台（论文编号：arXiv:2512.13874v1），首次让机器学会了像人类一样灵活地观看视频并进行推理。

说起看视频，我们人类其实有个很神奇的能力：当我们想快速了解一个短视频的内容时，会从头到尾仔细观看；但面对一部两小时的电影时，我们会根据需要选择快进、跳跃或者重点观看某些片段。然而，目前的人工智能系统却做不到这一点——它们要么一股脑地处理完整个视频，要么只能看固定长度的片段，完全没有这种"因材施看"的智慧。

Allen AI的研究团队发现了这个问题，于是开发出了一个叫做SAGE的智能系统。SAGE的全称是"Smart Any-horizon aGEnt"，翻译过来就是"智能任意时长代理"。这个系统最厉害的地方在于，它能够根据问题的复杂程度自动决定是需要深入分析整个视频，还是只看关键片段就够了。

更有意思的是，研究团队还创建了一个专门的评估平台SAGE-Bench，里面包含了1744个来自真实娱乐视频的问题，平均每个视频长达727秒（超过12分钟）。这些问题就像普通观众在看YouTube视频时可能产生的疑问一样自然真实。

一、突破传统局限：从"一刀切"到"量体裁衣"的视频理解

传统的视频AI系统就像一个只会按部就班工作的机器人。无论你给它一个30秒的搞笑短视频，还是一部90分钟的纪录片，它都会用同样的方式处理：要么把整个视频的每一帧都仔细分析一遍，要么随机采样一些片段来看。这种方法不仅效率低下，而且经常会错过关键信息或者浪费大量时间在无关紧要的内容上。

SAGE系统的创新之处在于引入了"任意时长推理"的概念。它就像一个经验丰富的视频编辑师，能够根据任务的需要灵活调整观看策略。当面对简单问题时，比如"这个视频里的人穿的是什么颜色的衣服"，SAGE会快速浏览一下就给出答案。但如果问题比较复杂，比如"请分析这场F1比赛中法拉利车队的战术变化"，SAGE就会启动多轮深度分析模式，先搜索相关背景信息，然后定位关键时间段，最后综合分析得出结论。

研究团队在设计SAGE时，特别注重模拟人类的观看习惯。我们在看长视频时，往往会结合自己的背景知识，有选择性地关注某些片段，甚至会暂停去查阅相关资料。SAGE也具备了这些能力：它不仅能够分析视频内容，还能进行网络搜索来获取背景信息，甚至可以提取视频中的语音内容进行分析。

这种灵活性带来的好处是显而易见的。在实际测试中，SAGE在处理长于10分钟的视频时，准确率比传统方法提升了8.2%，而在处理开放式问题时的提升幅度更是达到了6.1%。更重要的是，SAGE的处理速度也大大提升了，因为它不再需要对每个视频都进行全面的"地毯式"分析。

二、智能工具箱：给AI配备"瑞士军刀"般的分析能力

SAGE系统的另一个创新点在于它配备了一套完整的"智能工具箱"。传统的视频AI系统通常只依赖一种分析方法，就像只有一把锤子的工人，看什么都像钉子。而SAGE拥有六种不同的分析工具，每一种都有其独特的用途。

首先是网络搜索工具。当SAGE遇到需要背景知识才能回答的问题时，它会自动在网上搜索相关信息。比如在分析一段F1比赛视频时，如果问题涉及到车队的历史战绩，SAGE会先搜索最新的积分榜和比赛结果，这样它就能更准确地理解视频中发生的事情。

第二个工具是网页解析功能。找到相关网页后，SAGE能够自动提取其中的有用信息，就像一个高效的研究助手，能够快速从复杂的网页中找到关键数据。

语音转写工具则让SAGE能够"听懂"视频中的对话和旁白。这个功能特别有用，因为很多视频的关键信息都隐藏在语音中。比如在分析一段新闻视频时，主播的解说往往包含了比画面更丰富的信息。

事件定位工具帮助SAGE在长视频中快速找到特定的时间段。与传统系统不同，SAGE不会试图在整个两小时的视频中搜索一个10秒钟的片段，而是会智能地缩小搜索范围，通常在10分钟的时间窗口内进行精确定位。

视频片段提取工具可以从指定的时间段中提取关键帧或视频片段，为进一步分析做准备。最后，分析工具负责对提取的内容进行深度理解和推理。

这些工具的协同工作就像一个训练有素的团队。SAGE会根据问题的特点和复杂程度，自动选择合适的工具组合，有时只需要用到一两个工具，有时则需要所有工具轮番上阵。这种灵活性使得SAGE能够处理各种类型的视频分析任务，从简单的视觉识别到复杂的逻辑推理都游刃有余。

三、数据创新：用AI训练AI的巧妙策略

训练像SAGE这样复杂的AI系统需要大量高质量的数据，但获取长视频的标注数据一直是个难题。人工标注一个一小时长的视频可能需要花费30美元，而且标注质量难以保证。研究团队想出了一个巧妙的解决方案：利用先进的AI模型来生成训练数据。

他们使用了Gemini-2.5-Flash这个强大的AI模型作为"数据生产工厂"。这个过程就像让一个有经验的老师为学生出题一样：Gemini-2.5-Flash会仔细观看每个视频，然后针对不同的时间段和内容特点生成10到20个问题和答案对。

为了确保生成的问题覆盖整个视频的内容，研究团队设计了一个巧妙的机制：要求AI模型预测每个问题覆盖了视频的百分比。比如一个问题可能只涉及视频前半部分的内容（覆盖率50%），而另一个问题可能需要综合全片信息才能回答（覆盖率100%）。通过这种方式，他们确保了生成的问题既有局部细节的考查，也有全局理解的检验。

更令人印象深刻的是这种方法的效率。传统的人工标注不仅成本高昂，而且速度缓慢，标注一个小时的视频可能需要好几天时间。而使用AI生成数据的方法在成本上节省了近100倍，在时间上节省了10倍，同时质量检验显示错误率仅有5%左右。

研究团队总共处理了超过6600个视频，生成了99,000多个问题答案对，涵盖了从体育赛事到科普教育，从美食制作到旅行记录等各种类型的内容。这些数据不仅数量庞大，而且质量很高，为SAGE的训练提供了坚实的基础。

除了问题答案对，研究团队还生成了40多万个工具调用轨迹，这些轨迹记录了SAGE在处理不同类型问题时应该如何选择和使用各种工具。这就像为SAGE提供了一本详细的"操作手册"，告诉它在什么情况下该使用哪些工具，以什么顺序使用它们。

四、强化学习：让AI学会"举一反三"的智慧

仅仅有大量的训练数据还不够，SAGE还需要学会如何灵活运用这些知识。研究团队采用了强化学习技术，这种方法就像教孩子做作业时给予及时的奖励和纠正一样，能够让AI系统不断改进自己的表现。

传统的强化学习通常只关注最终结果的对错，但SAGE的学习过程更加精细化。研究团队设计了一套多维度的奖励机制，不仅会奖励正确的最终答案，还会奖励AI在解决问题过程中的每一个合理步骤。

具体来说，当SAGE能够产生格式正确的输出时会获得奖励，当它选择了合理的工具时也会获得奖励，当它避免重复使用同样的工具时同样会得到正面反馈。最重要的是，当SAGE能够在简单问题上直接给出答案，在复杂问题上进行多轮推理时，会获得额外的奖励。这种设计鼓励SAGE学会"因题制宜"的策略选择。

为了评估SAGE推理过程的合理性，研究团队还引入了GPT-4o作为"裁判"。就像请一位经验丰富的老师来评估学生的解题思路是否合理一样，GPT-4o会判断SAGE在每一步推理中的工具选择是否恰当，逻辑链条是否清晰。

这种训练方法的效果非常明显。经过强化学习训练后的SAGE在各种测试中的表现都有了显著提升，特别是在处理开放性问题时，准确率提升了4.1%。更重要的是，SAGE学会了自适应的推理策略：对于简单问题，它倾向于快速直接回答；对于复杂问题，它会自动启动多轮深度分析模式。

五、实战检验：娱乐视频中的真实挑战

为了真正检验SAGE的能力，研究团队创建了一个名为SAGE-Bench的专门测试平台。与以往大多数学术测试不同，SAGE-Bench专门关注娱乐类视频的理解，因为这类视频更贴近普通用户的实际使用场景。

SAGE-Bench包含了来自13个热门YouTube频道的视频，涵盖了体育比赛、美食制作、喜剧表演、科普教育和旅行记录等多个领域。平均每个视频长度超过12分钟，最长的甚至达到了40分钟以上。更重要的是，其中54%的问题都是开放性的，需要AI进行复杂的理解和推理，而不是简单的选择题。

在这个测试平台上，SAGE展现出了令人印象深刻的表现。整体准确率达到了68%，在处理超过10分钟的长视频时表现尤为突出，相比传统方法提升了8.2%。特别值得一提的是，SAGE在处理需要视觉信息的问题时准确率达到了64%，在处理需要语音信息的问题时准确率更是高达82.8%。

更有趣的发现是，SAGE表现出了明显的"智能分配"特征。面对简单问题时，SAGE平均只需要1.7轮推理就能给出答案，而面对复杂问题时，它会自动增加到2.8轮推理。这种自适应行为恰恰反映了人类处理问题时的策略选择：简单问题快速处理，复杂问题深入思考。

与其他现有的视频AI系统相比，SAGE的优势更加明显。许多传统系统在处理开放性问题时表现较差，准确率往往在30-40%之间，而SAGE能够达到55.6%。这个差距的背后反映的是两种不同设计理念的区别：传统系统追求"一招鲜吃遍天"，而SAGE追求"因材施教"的灵活性。

六、技术深度：多轮推理的艺术与科学

SAGE的核心技术创新在于它的两阶段工作模式。第一阶段称为"情境理解阶段"，SAGE会像一个初次接触视频的观众一样，快速浏览视频内容，理解基本情况，并判断问题的复杂程度。如果问题相对简单，SAGE就会直接给出答案；如果问题比较复杂，它就会制定一个详细的分析计划。

第二阶段是"迭代推理阶段"，SAGE会根据第一阶段制定的计划，逐步使用各种工具来收集和分析信息。这个过程就像侦探破案一样，每收集到一条线索，就会重新评估案情，决定下一步该往哪个方向调查。SAGE会持续这个过程，直到收集到足够的信息来回答原始问题。

在技术实现上，SAGE采用了一种叫做"状态-动作对"的表示方法。每一个推理步骤都被看作是从当前状态到下一个状态的转换，而工具的选择和使用就是这个转换过程中的"动作"。这种表示方法使得SAGE能够学会复杂的推理策略，并且能够根据不同的问题类型自动调整自己的行为模式。

为了处理视频的时序特性，SAGE引入了一种智能的时间窗口机制。与传统方法试图在整个视频中搜索特定事件不同，SAGE会根据已有信息智能地估算可能的时间范围，然后在这个较小的窗口内进行精确搜索。这种方法不仅提高了搜索效率，还减少了误匹配的可能性。

SAGE的另一个技术亮点是它的"工具编排"能力。它不是简单地按照固定顺序使用工具，而是会根据问题的特点和当前收集到的信息动态决定下一步该使用哪个工具。有时它会先搜索背景信息再分析视频内容，有时它会先定位关键时间段再提取详细信息，这种灵活性使得SAGE能够高效地处理各种类型的视频分析任务。

七、性能对比：效率与准确性的双重突破

在与现有技术的对比中，SAGE展现出了全面的优势。研究团队将SAGE与市面上最先进的视频AI系统进行了详细对比，包括Video-R1、VideoRFT、LongVILA-R1等知名系统。结果显示，SAGE不仅在准确率上领先，在处理效率上也有显著优势。

从准确率角度看，SAGE在SAGE-Bench测试集上的整体表现达到了68%，而最接近的竞争对手VideoChat-R1.5的准确率仅为54.8%。在处理开放性问题时，这个差距更加明显：SAGE达到了55.6%，而大多数传统系统的准确率都在40%以下。这个差距反映了SAGE在理解复杂视频内容方面的显著优势。

从效率角度看，SAGE的表现同样令人印象深刻。虽然SAGE使用了多种工具进行分析，但由于其智能的任务分配机制，平均处理时间仅为8.6秒每样本，比某些传统系统还要快。相比之下，一些现有的智能体系统如VideoAgent平均需要1445秒才能处理一个样本，效率差距高达168倍。

特别值得注意的是SAGE在不同视频长度上的表现差异。对于1小时以上的超长视频，SAGE的准确率提升幅度达到了14.6%，这个数字远超其在短视频上的提升幅度。这个现象说明，SAGE的"任意时长推理"能力在处理复杂长视频时发挥了更大的作用。

研究团队还发现了一个有趣的现象：SAGE表现出了明显的"学习曲线"效应。随着训练数据的增加和强化学习的深入，SAGE不仅在准确率上稳步提升，在推理效率上也在不断优化。它学会了更精确地判断问题的复杂程度，能够更准确地决定是否需要启动多轮推理模式。

八、实际应用前景：从实验室到日常生活的跨越

SAGE的成功不仅仅是一项学术成就，更重要的是它为视频AI技术的实际应用开辟了新的可能性。目前的视频AI系统大多只能处理标准化的任务，而SAGE的灵活性使它能够适应更多样化的实际应用场景。

在教育领域，SAGE可以成为一个智能的视频学习助手。学生观看在线课程时，可以随时向SAGE提问，无论是关于某个具体概念的解释，还是关于整节课内容的总结，SAGE都能给出准确的回答。更重要的是，SAGE能够根据问题的复杂程度自动调整分析深度，既能快速回答简单问题，也能进行深入的概念分析。

在娱乐行业，SAGE可以为视频平台提供更智能的内容理解和推荐服务。它不仅能够理解视频的表面内容，还能深入分析视频的情感色彩、主题内容和艺术风格，从而为用户提供更精准的个性化推荐。同时，SAGE还可以帮助内容创作者快速分析自己作品的效果，识别观众最感兴趣的片段。

在新闻和媒体领域，SAGE可以成为记者和编辑的得力助手。面对大量的视频素材，记者可以快速询问关键信息，比如"这段采访中政治家的主要观点是什么"或者"这场比赛的转折点在哪里"。SAGE能够快速定位关键片段并提供准确的分析，大大提高新闻制作的效率。

在安防和监控领域，SAGE的应用前景同样广阔。传统的监控系统只能进行基础的目标检测，而SAGE可以理解复杂的行为模式和事件序列。它能够回答"在过去一小时内是否有异常行为发生"这样的复杂查询，并且能够准确定位相关的时间段。

研究团队特别强调，SAGE的设计理念是"以用户为中心"的。与传统的AI系统不同，SAGE不是要求用户适应系统的局限性，而是让系统适应用户的实际需求。用户可以用自然语言提出各种类型的问题，SAGE会自动判断如何最有效地回答这些问题。

说到底，SAGE代表的是视频AI技术发展的一个重要转折点。它从根本上改变了我们对视频AI能力的认知：AI系统不再是只能按部就班工作的"笨机器"，而是具备了类似人类的灵活思维能力。SAGE能够根据任务的复杂程度自主决定分析策略，这种"智能分工"的能力使它在处理各种实际问题时都能游刃有余。

更令人兴奋的是，SAGE的成功为整个AI领域提供了重要启示：真正实用的AI系统需要具备"任意时长推理"的能力，也就是能够根据问题的特点灵活调整自己的工作方式。这种理念不仅适用于视频分析，也可能推广到语音理解、文档分析等其他AI应用领域。

当然，SAGE目前还只是一个研究原型，距离大规模商业应用还有一定距离。研究团队也坦诚地指出了系统的一些局限性，比如对某些专业领域知识的理解还不够深入，处理极其复杂的推理任务时偶尔还会出现错误等。但是，SAGE所展现的技术方向和巨大潜力已经让整个AI界为之振奋。

随着技术的不断完善和数据的持续积累，我们有理由相信，像SAGE这样的智能视频分析系统将很快走出实验室，成为我们日常生活中不可或缺的智能助手。到那时，与视频内容的交互将变得和与人对话一样自然流畅，我们将真正进入一个"视频即对话"的全新时代。

Q&A

Q1：SAGE系统是什么，它有什么特殊能力？

A：SAGE是由Allen AI研究所开发的智能视频分析系统，全称"Smart Any-horizon aGEnt"。它的特殊能力是能像人类一样根据问题复杂程度灵活调整观看策略：面对简单问题时快速浏览给出答案，面对复杂问题时启动多轮深度分析模式，甚至会搜索网络获取背景信息。这种"因材施看"的智慧使它在处理长视频时比传统方法准确率提升了8.2%。

Q2：SAGE如何解决传统视频AI系统效率低下的问题？

A：传统视频AI系统采用"一刀切"方式，无论视频长短都用同样方法处理，既浪费时间又容易出错。SAGE配备了六种智能工具（网络搜索、网页解析、语音转写、事件定位、视频片段提取、深度分析），会根据问题特点自动选择合适的工具组合。它不会对每个视频进行"地毯式"全面分析，而是智能缩小搜索范围，在10分钟窗口内精确定位关键片段，处理效率比某些传统系统快168倍。

Q3：SAGE的训练数据是怎么获得的，质量如何？

A：研究团队采用了创新的"AI训练AI"策略，使用Gemini-2.5-Flash模型作为"数据生产工厂"，自动观看视频并生成问题答案对。这种方法成本节省近100倍，时间节省10倍，错误率仅5%左右。团队总共处理了超过6600个来自热门YouTube频道的视频，生成了99000多个问题答案对和40多万个工具调用轨迹，涵盖体育、美食、教育、旅行等多个领域。