浙大清华新作 INTACT，同构算子学习意图动作映射新范式

Junhan Sun・Hao Zhao・Guofeng Zhang｜浙江大学・清华 AIR・InSpatio・RoboParty Lab

只训练 1 个 epoch，不采样任何候选动作序列，INTACT 在四项 LeWM 官方任务上取得95.33%的平均成功率；需要时，小规模局部验证还能进一步提升到96.86%，同比相关模型耗时降至1/300。

世界模型已经能够预测 “执行一个动作后，世界会发生什么”，但真正部署时，它往往仍然无法直接回答另一个更关键的问题：现在应该怎么做？

传统方法通常依赖 CEM 或 MPPI，从大量随机生成的候选动作中反复预测、筛选答案。也就是说，世界模型虽然会预测未来，却仍然需要通过大规模搜索才能决定下一步行动。

浙江大学、清华大学智能产业研究院、影溯 InSpatio、RoboParty Lab 等团队提出的INTACT（INtent-To-ACTion），一种基于端到端 JEPA 的无搜索世界模型控制方法，试图改变这一范式：直接利用离线轨迹中已有的状态、动作与未来结果，将运动意图转化为动作模型可以读取的语义接口，使模型无需搜索候选动作序列，就能直接生成动作计划；只有在精细接触或局部修正等复杂场景中，才引入小规模搜索进行验证。

论文标题：Isomorphic Intent-to-Action Learning for Search-Free World Models论文地址：https://arxiv.org/abs/2607.26056项目主页：https://zju3dv.github.io/INTACT-JEPA/Github 主页：https://github.com/zju3dv/INTACT-JEPA影溯 InSpatio： https://www.inspatio.com/RoboParty Lab ：https://lab.roboparty.com/

视频链接：https://mp.weixin.qq.com/s/KXonT9iTcrT-2b8K2BNY7w

背景

传统方案通常前向只是做了未来预测器亦或者是 mask 中间 latent 的还原器，把这个反问题交给 CEM 或 MPPI：随机生成大量动作序列，让世界模型逐条预测，再从中选出最接近目标的一条。

以 LeWM 的典型设置为例，CEM 在一次规划中最多评估 300×30，即 9000 条候选序列。搜索本身并没有错，但它会带来额外延迟，也让世界模型学到的动作信息在部署时无法被直接读取。

与此同时，VLA 训练过程冻结 Encoder 去训练 Actor 的方式，只是将多模态过滤去进行动作生成，却并没有考虑到编码后的潜空间和动作空间的语义信息对齐。这种没有进行明确意图族和动作族正确映射关系的训练方式，会让模型在生成意图和意图完整生成动作上存在明显 GAP。

相关工作

潜在世界模型与搜索式控制

LeWM 一类方法首先训练视觉编码器与 Forward Predictor，让模型在潜在空间中预测动作后的未来状态。部署时，世界模型主要充当 “候选动作的裁判”：CEM 或 MPPI 提议动作，Forward Predictor 展开未来，目标代价再对候选进行排序。

逆动力学与目标条件策略

局部逆动力学可以从真实相邻状态恢复动作，目标条件策略则可以根据当前状态和未来目标直接输出控制。前者具有物理锚点却无法在行动前获得下一状态，后者可部署却容易退化成单独的目标条件行为克隆。INTACT 关注的正是这两类条件如何通过同一个动作算子建立一致语义。

从搜索先验到直接动作接口

已有工作也会训练动作先验来辅助采样，但搜索仍然承担寻找主方向的职责。INTACT 的区别在于，它让目标意图本身处在训练支持上，并将同一个 INTACT Predictor 直接保留为部署接口，使搜索从必选项变成可选验证器。

方法

系统概述

如图 1 所示，INTACT 在原有 Forward Predictor 之外增加一个共享的条件动作算子。训练时，真实局部变化和未来目标变化被巧妙地以相同的输入结构和不同的梯度传播策略进行 INTACT Predict；推理时，目标分支直接生成动作块，Forward Predictor 继续负责未来展开、重规划与可选验证。

图 1. INTACT 的共享编码器、双意图分支与 Search-Free Direct 控制框架

两种运动意图

INTACT 的关键观察很朴素：离线机器人轨迹里已经同时存在状态、动作和未来结果。每一段真实转移都告诉模型，某个动作在当前状态下造成了什么局部变化；同一条轨迹中的未来帧，又可以描述机器人最终想实现的目标变化。也就是说，让模型站在当前状态下有一个想要去未来明确目标的意图，以序列里面下一帧的各种实际动作为参考，给出最合适的贴近意图的动作。

第一类条件是局部意图：它来自真实相邻状态之间的变化，为模型提供动作与物理可达性的锚点。第二类条件是目标意图：它来自当前状态与未来目标之间的完整位移，在执行动作之前即可获得，因此能够成为直接控制条件。

同构 Backbone 与同构 Input

两类条件进入同一个 INTACT Predictor，并共享相同的输入结构和参数。这种同构模型架构并不强迫局部变化与未来目标在潜在空间中数值相等，而是让它们在需要相近的控制行为时，映射到相容的动作分布。与此同时，Forward Predictor 继续保留接触、障碍和后续预测所需的信息。

INTACT 不要求两种意图 “长得一样”，只要求：当它们需要相近的控制行为时，模型能够读出相容的动作。

Search-Free Direct 与可选 Guarded Verification

INTACT 的目标不是 “彻底取消规划”，而是让世界模型先给出一个具有 intact 任务信息的意图，再将意图 intact 转换成动作，直接执行动作查看是否成功，再决定是否需要额外搜索。

图 2. 上：LeWM 从随机动作开始搜索；下：INTACT 先生成 Direct plan，搜索只负责可选的局部验证

损失函数设计

INTACT 的训练目标由世界模型预测、真实局部逆动力学和目标意图动作似然三部分组成。它们不是简单堆在一起的辅助项，而是共同塑造 Encoder、Forward Predictor 与共享动作算子的端到端目标。

1. 世界模型损失

Forward Predictor 预测动作后的潜在状态；SIGReg 用于维持潜在表示的健康分布，避免塌缩。

2. 真实局部逆动力学损失

利用真实相邻状态的位移预测当前动作。终点由动作真实到达，因此这一分支把物理可达性和动作可恢复信息写入视觉表示。

3. 目标意图动作损失

利用当前状态到未来目标的位移预测当前动作。未来目标作为 stop-gradient 锚点，避免把终点误当作下一时刻物理状态。

4. 单任务联合目标

完整 INTACT 在同一个 Predictor 内同时解释局部意图族和目标意图族，使两类条件通过动作分布形成等价类对齐。

四任务 Multi-Task 扩展

在多任务设置中，PushT、Cube、Reacher 和 TwoRoom 共享同一个 Visual Encoder 与 Projector，但每个任务保留自己的 Forward Predictor、动作嵌入和 INTACT Predictor。这样既让四类视觉数据共同塑造共享表示，又避免把异构动作空间强行补零或拼接。

结果

单任务：1 个 epoch，零搜索达到 95.33%

研究团队在 PushT、Cube、Reacher 和 TwoRoom 四项官方 LeWM 任务上进行评测。单任务模型均从头训练 1 个 epoch，Direct 模式不采样候选动作，也不调用终点代价函数，四任务平均成功率达到 95.33%。

当局部验证有帮助时，Guarded A 以 Direct plan 为中心，仅评估 384 条候选序列，平均成功率进一步达到 96.86%。相比传统 9000 条候选序列，采样量减少 23.44 倍；规划侧延迟从约1.48秒下降到2.9-5.5毫秒。

Multi-Task：一个共享编码器同时学习四种任务

图 3. 四任务共享编码器的 E5 Direct 成功率

Goal-displacement INTACT 在 E5 达到 89.39±0.77% 的四任务平均成功率，比 Goal intent only 高 8.78 个百分点。相对共享 LeWM，PushT、Cube、Reacher 和 TwoRoom 分别提升 5.66 / 32.23 / 12.56 / 42.44 个百分点。

表 1. Multi-Task 完整结果：Direct、关闭 Actor 后的 Pure CEM 与可选局部验证

关闭 INTACT Predictor 后，Pure CEM 的平均成功率仍从 66.17% 提升至 70.08%。这说明多任务收益不只来自一个更强的动作头，共享世界模型表征本身也变得更可规划；Guarded A 则把搜索保留为低预算的可选验证器。

消融实验

动作监督是否真的改善了世界模型表征？

论文在评测时完全移除 INTACT Predictor，只保留 Encoder、Forward Predictor 和原始 CEM。如果收益只来自额外的动作头，那么关闭 Actor 后不应继续提升。结果却显示，加入局部意图和目标意图监督后，Actor-disabled Pure CEM 仍持续改善。

图 4. 关闭 Actor 后的规划能力与冻结探针结果

在 PushT 的控制链中，Pure CEM 成功率从 42.2% 依次提升到 57.7%、61.4% 和 69.4%；冻结探针也显示更多物理状态与动作信息被编码器保留。这说明联合动作监督不仅提供了更好的动作提议，也反过来塑造了共享视觉表示。

为什么必须共享同一个 INTACT Predictor？

把局部意图和目标意图交给参数量匹配的独立 Actor，会损失 5.67 个成功率百分点；即使将独立 Actor 容量翻倍，仍低于完全共享的设计。这个结果支持了论文的核心判断：收益来自两类条件在同一个动作算子中的语义耦合，而不是简单增加参数。

总结

这项工作真正改变了什么？

INTACT 创新性地让 inverse latent 进行了意图空间和动作空间的等价类对齐，这种自监督的范式能够通过自然且巧妙的同构 backbone 和同构 input 进行聚类，这种联合训练的范式能够自然让 Encoder 更符合 Actor 输出所需的格式，从而在推理过程直接输入意图能够有较大鲁棒性得到 dynamics 的动作 policy。

INTACT 并没有宣称搜索从此失去价值。它重新划分了模型与优化器的职责：INTACT Direct 负责快速给出具有任务语义的动作计划；Forward Predictor 以 Direct 为动作主方向的输出模式继续维护对未来的预测；搜索则从 “寻找方向” 退到 “对主方向的验证和修正”。

世界模型不一定只能充当 “候选动作的裁判”，当运动意图被组织成可直接读取的动作语义，它可以自然成为一个更好的意图表达者，同时也成为一个快速的行动者。

论文：Isomorphic Intent-to-Action Learning for Search-Free World Models

arXiv:2607.26056｜本文根据论文与作者提供原图整理