去年，谢赛宁（Saining Xie）团队发布了 Cambrian-1，一次对图像多模态模型的开放式探索。但团队没有按惯例继续推出 Cambrian-2、Cambrian-3，而是停下来思考：真正的多模态智能意味着什么？大语言模型范式对于感知建模真的合理吗？

谢赛宁在推特上写道：“有些根本性的东西缺失了。你无法在构建超级感知（supersensing）之前就构建出超级智能。”这无关于更好的传感器或更高清的摄像头，而在于一个数字存在如何真正体验世界，如何吸收无尽的输入流并从中学习。正如 Andrej Karpathy 所说，对于现实世界中的 AI 智能体，感知建模可能就是它所需要的一切。

图丨相关推文（X）

团队提出了一个演进分类法：从纯语言理解（第零层），到语义感知（第一层，对应“看图说话”能力），到流式事件认知（第二层，实时助手的基础），再到隐式 3D 空间认知（第三层，理解视频作为 3D 世界的投影），最后是预测性世界建模（第四层，通过预测潜在世界状态进行“无意识推理”）。当前的多模态模型大多停留在前两层，少数触及第三层，而第四层几乎完全缺失。

这就是 2025 年 11 月，由谢赛宁领导，杨立昆（Yann LeCun）、李飞飞（Li Fei-Fei）参与指导的团队的新论文“Cambrian-S: Towards Spatial Supersensing in Video”的起点。

图丨相关论文（arXiv）

论文不仅提出了“空间超感知”这个新范式，还构建了相应的基准测试、数据集和模型，来验证一个判断：当前的多模态大语言模型在真正的空间感知任务上，存在系统性的失败。

团队首先对现有视频理解基准进行了系统性审查。他们发现，尽管学界已经开发了大量评测基准，但这些测试大多集中在前两个阶段，要么是简单的物体识别和描述，要么是短时段的事件理解。真正考察空间推理和世界建模能力的基准寥寥无几。

（arXiv）

而许多被标榜为“空间推理”的任务，实际上可以通过文本捷径绕过视觉理解来完成。例如，在 VideoMME 基准的所谓空间推理子类别中，一个关于月球撞击地球的问题，本质上只需要物理常识而非视觉空间理解；另一个关于宇航员装备的问题，更像是在考察模型对 NASA 相关文本知识的记忆。

为了弥补这一评测空白，团队构建了 VSI-SUPER 基准测试，“VSI”代表视觉-空间智能（Visual-Spatial Intelligence）。这个基准包含两个子任务：VSR（Visual Spatial Recall，长时域视觉空间回忆）和 VSC（Visual Spatial Counting，持续视觉空间计数）。两个任务都使用长达数小时的视频内容，要求模型不仅要“看见”，还要“记住”并“理解”空间中物体的变化。

（arXiv）

测试结果相当惊人。号称具备强大“实时视觉输入”能力的商业模型 Gemini-Live 和 GPT-Realtime，在 10 分钟视频上的平均相对准确率（Mean Relative Accuracy，MRA）都不到 15%，当视频长度延伸至 120 分钟时，表现几乎归零。这些标榜的“长上下文”模型，在真正需要持续追踪空间信息的场景下完全无法胜任。

问题出在哪里？按照团队提出的分类法，当前的 MLLMs（Multimodal Large Language Models，多模态模型）大多停留在前两个层次，少数模型刚刚触及第三层的隐式 3D 空间认知，而第四层，也就是最关键的预测性世界建模，几乎完全缺失。

认识到问题后，团队开始动手解决。他们首先构建了 VSI-590K 数据集，这是一个专门针对空间理解的视频指令调优数据集，包含约 59 万个训练样本。数据来源分为三类：高质量人工标注的真实视频、模拟数据，以及通过自动化流程从网络视频中提取的伪标注数据。团队开发了一套完整的自动化标注流程，使用 GroundingDINO 进行物体检测、SAM2 生成掩码、VGGT 估计 3D 点云，最终生成几何相关的问答对。

在此基础上训练的 Cambrian-S 模型家族，参数规模从 0.5B 到 7B 不等。训练过程分为四个阶段：视觉-语言对齐、图像指令调优、通用视频指令调优，以及空间视频指令调优。实验结果显示，Cambrian-S-7B 在 VSI-Bench 上达到了 67.5% 的准确率，比开源基线模型如 InternVL3.5-8B 和 Qwen-VL-2.5-7B 高出一大截，甚至超越商业模型 Gemini-2.5-Pro 超过 16 个百分点。同时，模型在 Perception Test、EgoSchema 等通用视频基准上也保持了竞争力。

（arXiv）

但即便是 Cambrian-S，在 VSI-SUPER 上的表现虽然优于基线模型，可一旦视频长度超过 60 分钟，其性能仍会急剧下降。这验证了团队的判断：仅仅依靠扩大数据规模和模型参数，无法突破当前 MLLM 范式的根本局限。真正需要的是范式转变。

这个转变就是“预测性感知”（Predictive Sensing）。这一概念受人类认知机制启发：我们的大脑不是被动接收所有视觉信息，而是会主动预测接下来会看到什么，并将注意力集中在那些“出乎意料”的事件上。团队在 Cambrian-S 中实现了这一机制：添加了一个潜在帧预测头（Latent Frame Prediction head），这是一个两层 MLP 结构，可以在进行下一个 token 预测的同时，预测下一个视频帧的潜在表征。

（arXiv）

训练时，模型使用均方误差和余弦距离损失来衡量预测特征与真实特征之间的差异。推理时，这个预测误差就变成了“惊奇度”（surprise score）。惊奇度低的帧，也就是模型能够准确预测的内容，会被压缩后存储到长期记忆中；惊奇度高的帧，代表场景发生了重要变化，则会保留更多细节。这种机制使得模型可以用有限的记忆容量处理几乎无限长的视频流。

在 VSC 任务中，团队进一步设计了基于惊奇度的事件分割方案。模型会持续在“事件缓冲区”中积累帧特征，当检测到高惊奇度的帧（通常意味着场景切换）时，就会对当前缓冲区的内容进行总结，生成该片段的答案，然后清空缓冲区开始新的事件。这让模型能够将连续的视觉流自然地分割成有意义的事件单元。实验数据证明了这种设计的有效性。

在 VSR 任务中，配备了预测性感知机制的 Cambrian-S 能够在视频长度增加时保持相对稳定的准确率，同时 GPU 内存使用量保持恒定。它在所有测试长度上都超越了 Gemini 1.5 Flash 和 Gemini 2.5 Flash，避免了仅依靠扩展上下文的模型出现的性能急剧下降。在 VSC 任务中，即便是在 120 分钟的视频流上，Cambrian-S 仍能维持约 28% 的准确率，而商业模型基本上已经失效。

不过，团队也指出，无论是 VSI-SUPER 基准、VSI-590K 数据集，还是 Cambrian-S 模型和预测性感知机制，都只是这个长期研究方向的初步探索。基准测试的覆盖面仍然有限，数据集的规模和多样性需要扩大，模型的泛化能力有待提高，预测机制也还只是一个概念验证。未来的工作需要探索更多样化和具身化的场景，并与视觉、语言和世界建模领域的最新进展建立更紧密的联系。

而预测性感知机制也将成为团队未来探索的关键方向，模仿人脑利用“预测”和“惊喜”来高效感知世界，或许正是打破当前范式瓶颈的关键。

为什么号称具备“长上下文”能力的模型会在长视频理解上集体失效？答案其实很清楚。长上下文只是提供了更大的记忆容量，但并没有解决如何有效利用这些容量的问题。真正需要的是一套智能的管理系统，知道什么该详细记录、什么可以粗略存储、什么完全可以遗忘，以及在需要时如何快速检索关键信息。

相关论文、代码、模型权重和数据集都已在 GitHub 和 Hugging Face 平台开源。

参考资料：

相关论文：https://arxiv.org/pdf/2511.04670v1

项目地址：https://cambrian-mllm.github.io/cambrian-s/

排版：刘雅坤