这项由俄亥俄州立大学与Meta联合开展的研究，于2026年5月发表在预印本平台arXiv上，论文编号为arXiv:2606.00825。研究团队构建了一个名为SuperMemory-VQA的数据集与评测基准，专门用来检验AI系统能否充当人类日常生活中的"记忆秘书"。

你有没有遇到过这样的情况：出门前明明记得把钥匙放在桌上，转身就忘了；或者跟朋友聊天时提到了某个重要约定，隔天却想不起对方说的具体内容；再或者，做菜到一半，脑子里突然空白——刚才到底放了多少盐？这些日常的"记忆空洞"虽然听起来微不足道，却会在生活中反复制造麻烦。

现在，AI眼镜（比如Meta推出的Aria智能眼镜）正在尝试填补这些空洞。它们可以持续录下你的第一人称视角，理论上记住你看到的一切。但问题来了：AI真的能像一个称职的"随身秘书"那样，在你需要的时候准确回忆起过去发生的事情吗？

为了回答这个问题，研究团队做了一件很有意思的事：他们专门设计了一套考题，来测试AI的"记忆能力"——这就是SuperMemory-VQA数据集的由来。

一、为什么现有的AI"记忆测试"不够用

要理解这项研究的价值，得先弄清楚一件事：在此之前，研究者们其实已经有不少用来评估AI视频理解能力的数据集了。但这些数据集存在一个共同的问题——它们测的是AI能不能"看懂眼前发生了什么"，而不是AI能不能"记住过去发生了什么"。

打个比方，现有的测试就像是给一个人播放一段三分钟的厨房视频，然后问："刚才这个人用的是什么锅？"这种问题测的是短期感知能力。但真正的记忆助手需要回答的问题更像是："你昨天下午做饭时，把那个蓝色的硅胶锅铲放哪了？"——这才是记忆能力的核心：跨越时间的信息检索与推理。

具体来说，现有的数据集存在几个局限。大多数数据集关注的是动作识别（比如"他正在切菜"）或者通用问答（"视频里有几个人"），而不是贴近真实记忆需求的问题。另外，现有数据集的视频片段很短，通常只有几分钟，无法模拟人们真实生活中跨越数小时甚至数天的记忆场景。此前唯一比较接近的工作是EgoLife数据集，它确实尝试了更长时间的第一人称视频，但问题设计仍然偏向模板化，问题的语言方式生硬、不自然，也缺乏对多段证据整合推理的测试。

SuperMemory-VQA的出现，正是为了补上这些短板。

二、这套"记忆考题"到底是怎么设计的

研究团队招募了十名参与者，让他们佩戴Meta Aria第一代智能眼镜，在一个模拟家庭环境的出租屋里进行日常活动的录制。这套眼镜非常"能干"：它同时记录了高清彩色视频（1408×1408像素，每秒30帧）、双目黑白视频（用于空间定位）、眼球追踪、七声道音频，以及惯性测量单元（IMU）数据和三维场景点云。通俗地说，这副眼镜不只是在"看"，它还在"感受"佩戴者的运动状态、"听"周围的声音、"追踪"视线焦点，并且实时构建出所处空间的三维地图。

每位参与者录制了3到12小时的内容，横跨多个录制环节，其中三位参与者的录制时间甚至延伸到两周。活动内容包括按照食谱做饭、根据说明书玩桌游、打扫整理房间、与其他参与者交谈等，既有独自进行的任务，也有多人协作的场景。

在这52.9小时的多模态第一人称视频基础上，研究团队构建了4853个问答对。这些问题被归纳为六大记忆任务类型，覆盖了人类日常生活中最常见的记忆需求。

第一类是物体与位置记忆。这类问题关注的是某样东西最后被放在哪里，或者它在不同时间点之间是如何被移动的。比如"我要换衣服了，我洗衣服时把蓝色牛仔裤挂在哪了？"正确答案需要系统准确找到参与者之前把牛仔裤挂在衣柜门顶部挂钩上的那个时刻。

第二类是对话记忆。这类问题要求系统回忆对话中说过的具体内容，包括承诺、延迟回答、中途纠正等细节。比如"我在想我的策略。B之前跟我说，什么时候可以建房子？"系统需要找到对话中B明确说"轮到你的时候"的那一刻。

第三类是视觉场景回溯。这类问题要求系统记住曾经看到过的视觉细节，比如门牌号、包装上的文字、屏幕上的信息等。比如"我要在手机上订外卖，我们刚才进来的那扇门上的公寓门牌号是多少？"

第四类是情境内检索。这类问题需要将当前的情境信息与过去的记忆相连接，进行多步骤推理。比如"我在数我的零钱，我买肯塔基大道花了220美元，我收到了多少找零？"系统需要先找到那次购买的记录，确认支付了500美元，再推算出找零300美元。

第五类是时间线重建。这类问题要求系统按时间顺序整理一系列事件，或者确认某项多步骤任务的操作顺序。比如"我想把食谱步骤记下来发给朋友，我之前是按什么顺序把香葱、鸡肉和腌料放进锅里的？"正确答案需要系统把三个不同时间点的操作拼接成正确的时间序列。

第六类是意图回溯。这类问题关注的是参与者曾经说过或暗示过要做某件事，但最终没有完成。比如"我觉得我做印度香饭时好像忘了一个步骤，我当时计划要做但实际没做的是什么？"系统需要找到参与者在某一次谈话中提到"炒制15分钟"的计划，再比对后续实际操作的视频，发现这个步骤确实被跳过了。

三、这些问题有多难：让AI同时面对时间和不确定性

SuperMemory-VQA的挑战性不仅体现在问题的类型上，还体现在它的整体设计理念上。

每个问题都被设计成四选一的选择题，但与普通选择题不同的是，这四个选项是有"档位"的：正确答案是完整准确的描述，"含糊"选项是方向对但不够精确的描述（比如"你把牛仔裤放在了卧室里"），错误选项是与事实相悖的描述，而第四个选项永远是"根据现有证据无法回答"。这个设计非常关键，因为它同时测试了两种能力：AI能不能找到正确答案，以及AI知不知道什么时候该"认输"而不是瞎猜。

在现实生活中，一个好的记忆助手不应该在不确定的时候给出一个听起来很有信心但其实是错的答案。这种"明明不知道却硬要说"的行为，在AI领域有一个专有名词叫"幻觉"。SuperMemory-VQA通过专门设置"不可回答"选项，让测试系统具备了检测AI是否会幻觉的能力。

此外，研究团队还特别关注问题语言的自然性。现有数据集的问题往往是"模板化"的，比如"视频中的人把X放在了哪里？"SuperMemory-VQA的问题则更像真实生活中的口语，带有情境前缀："我要换衣服了，我洗衣服时把蓝色牛仔裤挂在哪了？"这种设计让问题更贴近AI眼镜实际使用场景，也让问题更难被AI通过语言技巧"猜"出答案。

为了验证这一点，研究团队专门做了一个"盲测"：让一个强大的文本语言模型（Qwen3-8B）仅凭看问题和选项的文字，在完全不看任何视频的情况下回答问题。结果这个模型的整体正确率只有23.8%，与随机乱猜的25%基准几乎相同。这说明SuperMemory-VQA的问题无法通过语言规律或常识推断来"蒙"出答案，必须真正理解视频内容才能回答。

四、标注这些问题的数据工厂：两阶段的AI+人工流水线

构建这样一个数据集，本身就是一个巨大的工程挑战。研究团队无法靠人工一帧帧看视频来标注问题——52.9小时的视频，如果人工观看并标注，会耗费天文数字级别的时间和精力。

于是他们设计了一套两阶段的半自动化标注流水线，让AI做大量基础工作，再由人工进行最终审核。

第一阶段是密集视频描述生成。系统把每段视频切割成小块，用大语言模型（具体是Google的Gemini 3 Flash版本）对每个视频块生成详细描述，记录其中发生的动作、出现的物体、听到的对话、所处的环境。为了处理多人场景，系统还维护了一个"人物登记册"，用化名标注视频中出现的每个人，并记录他们的外貌特征。所有这些描述被按时间顺序整合，形成一份完整的"超级日志"。

第二阶段是基于超级日志的问答生成与验证。一个"问答规划器"AI（用的是更强大的Gemini 3.1 Pro版本）读取超级日志，提出候选的问答对，并且在生成答案之前先写出推理过程，这种"先想再答"的方式有助于提升答案质量。随后，一个"验证器"AI对每个问答对进行多维度打分，检查事实准确性、因果关系的合理性、问题的自然程度，以及答案选项的均衡性。如果某个问答对评分不过关，一个"优化器"AI会根据验证器的建议对问题和答案进行修改，然后再次提交验证。这个循环会一直进行，直到问答对通过审核或者被认定为无法挽救而丢弃。通过自动审核的问答对，最终还要经过熟悉录制过程的研究人员进行人工审核，确保事实准确性和语言自然性。

这套流水线大约花费了3900美元的API调用费用，用来生成最终的4853个经过人工验证的高质量问答对。

五、现有最强AI系统的成绩单：没有一个及格

有了这套测试题，研究团队随即把目前最先进的两套AI视频理解系统拉来参考。一套叫Video-RAG，另一套叫EgoButler。

Video-RAG的工作方式类似于一个配备了快速检索系统的图书馆员。它先把视频中的文字（通过语音识别）、图像中的文字（通过OCR）、以及检测到的物体信息分别存进三个数据库，当用户问问题时，系统会从这三个数据库里搜索最相关的内容，再把找到的信息连同视频帧一起交给语言模型来生成答案。

EgoButler的设计哲学则不同，它更像是一个有着分层记忆笔记本的助手。它先对每30秒的视频生成一段详细描述，然后把这些描述汇总成小时级别的摘要，再汇总成天级别的摘要。当用户提问时，系统从最高层次的摘要开始搜索，逐步缩小范围到具体的视频片段，再提取相关描述交给语言模型回答。

在这两套系统的基础上，研究团队还测试了十个不同的语言模型作为"大脑"，包括开源的Qwen-3-VL（8B和30B两个尺寸）、InternVL-3.5（8B和30B）、Gemma-4（轻量版和31B版），以及闭源商业模型Gemini-3-Flash、Gemini-3.1-Pro、GPT-5.4-mini和GPT-5.4。

测试结果用三个指标来衡量：一是判断某个问题到底能不能根据现有视频回答（可答性F1分数，满分100%）；二是四选一选择题的准确率（QA-Acc，随机猜测的基准是25%）；三是平均倒数排名（QA-MRR，衡量正确答案是否至少排在前面，满分100%）。

成绩单看起来有些令人沮丧。表现最好的组合是Video-RAG搭配Gemini-3-Flash，可答性F1达到了83.9%，意味着它大部分时候能正确判断一个问题是否可以被回答。但选择题准确率只有61%——要知道，随机猜测的基准是25%，所以61%听起来还行，但面对真正的日常记忆需求，这个准确率远远不够。

换句话说，即便是当前最强的AI系统，在你问它"我上午把那把剪刀放哪了"这类问题时，它每三次大概只能答对不到两次。

更有意思的发现是不同模型之间的"性格差异"。Gemini-3-Flash像一个积极但有时过于自信的助手，遇到有证据支撑的问题会果断给出答案，但遇到没有证据支撑的问题也可能编造出听起来合理但实际错误的答案。Gemini-3.1-Pro则更像一个谨慎保守的助手，遇到不确定的情况往往倾向于回答"根据现有信息无法回答"，因此在可答性判断上更可靠，但同时也因为过度保守而错过了很多其实有足够证据支撑的问题，在选择题准确率上反而输给了Flash版本。

研究团队还单独分析了"可回答问题"的失败模式——也就是那些本来有足够证据可以回答、但AI却答错了的情况。结果发现，大多数失败不是因为AI给出了一个明显错误的答案，而是因为AI在有足够证据的情况下却选择了"无法回答"。多个开源模型在可回答问题上的"过度弃权率"超过了70%，Gemini-3-Flash也有接近40%的可回答问题被它放弃了。这说明现有AI系统还没学会一个很关键的技能：在证据存在时勇于作答。

六、从六种记忆任务看AI的短板在哪里

研究团队还按照六种任务类型分别统计了各系统的表现，揭示出更细粒度的能力差异。

在EgoButler框架下，各系统在不同任务上的表现非常不均衡，某些任务上的准确率甚至只有20%出头。Video-RAG框架则显示出相对均衡的任务覆盖，特别是在需要跨时间点整合证据的任务上表现更好。这个对比说明，有结构的检索（Video-RAG的方式）比分层摘要式的记忆（EgoButler的方式）更适合处理时间跨度大、需要精确定位的记忆问题。

研究团队还细致分析了六种典型的失败模式，通过具体例子展示了问题的本质所在。

"精确检索稀疏证据"这个场景是相对容易的情况：当答案藏在一个短暂的视频片段或一句对话里，只要检索系统找到了那个时刻，推理本身并不复杂。Video-RAG在这类问题上表现尚可，而EgoButler因为分层摘要容易模糊掉不显著的细节，往往在这类问题上失败。

"对话细节混淆"是一种常见的失败模式：AI找到了相关的对话内容，但把两个相近的表述混为一谈，给出了一个"方向对但内容错"的答案。比如，用户问B说他用压力锅做什么食材，AI可能找到了那段对话，但把"牛肉"错记成"肉类"，给出了一个模糊但不准确的答案。这种错误特别危险，因为它听起来有道理，用户很难察觉。

"小物体和OCR类失败"是视觉记忆的通病：当答案依赖于视频中一个很小的物体或很小的文字时，系统往往检测不到或记录不下来。比如门牌号、包装上的品牌名、游戏卡片上的文字。在门牌号这个例子中，Video-RAG给出了错误的数字207（正确是205），而EgoButler则直接选择了"无法回答"。

"时间顺序和状态变化追踪"是最复杂的挑战之一：相似的动作、相似的物体、相似的场景在整段录像中反复出现，AI需要维持一个追踪物体状态变化的"事件链"，而不仅仅是匹配视觉上相似的片段。比如追踪某个平底锅被使用后是否被清洗并收起来，需要系统记住"使用→清洗→收纳"这个状态变化序列，而不只是找到"有平底锅的帧"。

"假设前提的验证"是测试AI"知道自己不知道"能力的关键场景：当问题中包含了一个实际上不成立的假设时（比如问"我用蓝色量杯之后放哪了"，但实际上根本没有用过蓝色量杯），AI应该选择"无法回答"，而不是顺着假设编造一个答案。这类问题上，Gemini-3.1-Pro比Gemini-3-Flash表现更好，因为它更谨慎。但Gemini-3-Flash则往往会给出一个听起来合理、实际上是完全捏造的答案。

"量词精确性"是日常记忆中常见但容易被忽视的挑战：用户问的不只是"有没有放盐"，而是"放了几勺盐"。AI系统在总结视频时往往把重复的动作压缩为"放了一些"这样的表述，丢失了具体的数量信息。

七、参与者自己怎么看这套测试题

除了技术层面的测试，研究团队还做了一项小型用户调研，让八位参与者对从自己录像中生成的问题进行评价。

结果显示参与者对这套问题的认可度相当高。86%的参与者认为这些问题准确反映了他们在日常生活中真实会遇到的记忆困境。82%的人认为，如果AI能回答这些问题，对他们的日常生活会很有帮助。78%的人认为，回答这些问题所需要的知识不只是一次性的，它也能帮助回答其他类似的问题——也就是说，这些记忆是可复用的"个人知识资产"，而不只是一次性的事实查询。

值得一提的是，所有参与者对"依赖AI记住这些信息是否合适"的态度相对谨慎——只有约50%的人觉得完全没问题，另外一半对于把记忆外包给AI还持有保留意见。这折射出一个更深层的社会问题：当AI越来越能替代某些人类功能时，人们对于自主性和隐私的担忧也在与日俱增。

说到底，这项研究做的事情本质上是"给AI的记忆能力拍了一张清醒的X光片"。它揭示出，现有最强的AI系统在扮演"随身记忆秘书"这个角色上，还有非常明显的短板。找东西这件事，AI大约能做到六成准确，而且还会在没把握的时候说太多"不知道"，在有把握的时候又偶尔说错。

这对普通人意味着什么？如果你正在期待AI眼镜能帮你记住所有事情，这项研究告诉你：方向是对的，但技术还没到那一步。你可能还不能完全信任AI告诉你"你的钥匙放在厨房抽屉里"——它可能在用那个有点模糊的概率在猜。

当然，研究同时也指出了改进的方向。未来的AI记忆系统需要更精确的小目标检测和文字识别，需要维护物体状态变化的显式追踪机制，需要更好的时间顺序推理能力，以及最关键的——需要学会在该作答时大胆作答、在没有足够证据时干净利落地承认不知道。

一个有趣的问题值得进一步思考：如果AI能够完美记住你生活中的一切，你真的愿意它这么做吗？SuperMemory-VQA的参与者中，有相当一部分人对此持谨慎态度。技术能做到的事，和人们愿意接受的事，往往并不总是同步前进的。对这项研究感兴趣的读者，可以通过arXiv编号2606.00825查阅完整论文，数据集也已在Hugging Face平台上公开发布。

Q&A

Q1：SuperMemory-VQA数据集测试的是AI的什么能力？

A：SuperMemory-VQA测试的是AI系统在长时间第一人称视频中的记忆能力，具体包括物体位置记忆、对话内容回溯、视觉细节再现、跨事件推理、时间线重建和意图回溯六大类任务。与普通视频理解测试不同，它强调的是跨越数小时甚至数天的长时记忆，而非短片段内的感知识别。

Q2：当前最好的AI在SuperMemory-VQA上表现如何？

A：目前最强的组合是Video-RAG框架搭配Gemini-3-Flash模型，选择题准确率为61%，虽然远高于随机猜测的25%基准，但离实用级别仍有较大差距。大多数AI系统面临的主要问题不是给错答案，而是在有足够证据的情况下过度保守地选择"无法回答"，部分开源模型在可回答问题上的弃权率超过70%。

Q3：SuperMemory-VQA数据集是怎么制作出来的？

A：研究团队让参与者佩戴Meta Aria智能眼镜录制了52.9小时的日常活动视频，然后用两阶段AI流水线自动生成候选问答对：先用AI生成密集视频描述，再用AI规划和验证问答对，最后经过人工审核筛选，最终得到4853个高质量问答对，总标注成本约3900美元。