![]()
机器人前瞻(公众号:robot_pro)
作者 陈骏达
编辑 漠影
在英伟达的世界里,“仿真”正逐渐成为新的现实。
不久前,英伟达在官方账号上连续发布了两场高规格圆桌对话,而仿真数据成为了贯穿始终的核心议题。
从斯坦福大学李飞飞教授与英伟达机器人部门主管、杰出科学家Jim Fan的“师生对谈”,到英伟达产品营销高级总监(Omniverse与Physical AI业务)黄敏珊(Madison Huang,黄仁勋之女)与光轮智能创始人兼CEO谢晨关于“Sim2Real”的深入讨论——这些对话仿佛揭开了英伟达“仿真宇宙”的一角。
在英伟达的设想中,AI不仅要从数据中学习,更需在仿真世界中不断试错、成长,学会理解物理、触碰现实,最终走进真实世界。
这些圆桌对话的意义远超技术层面,它们背后暗藏着英伟达的一条战略主线——仿真计算机战略。
依托Omniverse、Isaac Sim和Physical AI三大支柱,英伟达正构建一张贯通虚拟与现实的“智能物理世界计算网络”,以仿真为基础,用算力去重建世界,让AI在仿真中学会现实世界的规律。
一、英伟达的“三台计算机”
过去数年中,AI更多停留在虚拟层面:语言模型能写文章,图像模型能生成画面,但它们都无法真正理解三维世界的物理规律,更无法在现实中执行任务。
英伟达正试图用三台计算机,打造出一条完整的进化之路——让AI不仅理解世界,还能在世界中行动。
英伟达认为,AI的下一个阶段将从数字智能走向“物理智能”(Physical AI)——一种能够感知、思考、计划并行动的智能系统。而支撑这种跃迁的,正是英伟达的“三台计算机”。
第一台是训练计算机(Training Computer),如英伟达的DGX系统和新近推出的RTX PRO系统等等。这些计算硬件是智能的“生产车间”,负责让模型获得理解世界的能力。
在这里,开发者可以训练机器人基础模型,让它们学会识别物体、理解语言、规划动作,为AI的智能打下坚实基础。
![]()
第二台是模拟计算机(Simulation Computer),如英伟达的Omniverse和Isaac Sim平台等。AI在这里进入“学校”,在数字世界中练习、试错和成长。
由于现实世界的数据采集昂贵又有限,英伟达让开发者能在虚拟环境中生成海量合成数据,模拟各种光线、物理、材质与动作场景。机器人可以在这一虚拟世界中反复、并行地执行各类任务,不断优化策略,直到能够安全可靠地适应真实世界。
![]()
第三台是实时计算机(Runtime Computer)——也就是英伟达物理智能和机器人平台Jetson AGX Thor与自动驾驶平台Drive AGX Thor等等。这是承载AI的大脑,真正让智能从云端走向现实。
这些计算平台被安装在机器人身上,实时处理来自传感器的数据,做出感知、推理、规划和执行的决策。凭借强大的算力和高能效,它们让机器人与人互动、识别环境、灵活行动,在工厂、仓库、医院等场景中成为可靠的伙伴。
这三台计算机构成了英伟达的“物理智能三部曲”:从训练智能,到模拟世界,再到驱动现实。它们共同形成了一个闭环,使AI能够在虚拟世界中学习,在真实世界中执行。这也是英伟达正在下的一盘大棋——不仅让AI能看懂世界,更让它能在世界中行动、合作、创造。
二、物理智能成为下一波浪潮,英伟达靠什么让它落地?
然而,当前大部分的AI系统尚不具备物理智能的特征,缺乏对物理定律、摩擦力、惯性、重心和因果关系等基本概念的理解。
黄仁勋曾用一个形象的案例解释道:“如果我把一个物体推倒,它会掉下来;当我放下瓶子时,它不会穿过桌面。这些直觉性的物理推理能力,儿童甚至宠物都拥有,但在大多数AI中却普遍缺失。”
围绕这一现状,英伟达将其Physical AI战略具体化为“用仿真训练具备物理理解力的智能体,用世界模型连接虚拟与现实”,并打造了Omniverse与Isaac Sim两大关键技术平台。前者用于构建高保真的虚拟物理世界,扮演物理智能“操作系统”的角色,后者用于在该虚拟环境中训练和测试具身智能体。
![]()
然而,强大的平台需要繁荣的生态来支撑。英伟达构建了Omniverse与Isaac Sim作为基础平台,而生态的繁荣则依赖于能够持续产生高质量合成数据的能力。光轮智能作为核心数据合作伙伴,正是这个生态的关键“数据源泉”,为整个物理智能体系提供不可或缺的燃料。
光轮智能和英伟达的合作贯穿从底层技术到上层应用的全链路。在数据层面,光轮智能为GR00T等机器人基础模型提供高质量的合成数据;在资产层面,其为Omniverse与Isaac Sim提供高保真“SimReady”仿真资产,确保虚拟环境的物理真实性与交互准确性。
在技术共建层面,光轮智能积极参与Newton物理引擎的验证、深度协同Cosmos世界模型的数据生成,并作为开源贡献者深度参与Isaac Lab平台等核心项目的共建。通过系统化的仿真训练闭环,光轮智能助力机器人在虚拟环境中完成成千上万次高拟真训练,大幅提升其在现实场景中的适应性与可靠性。
作为在物理精度、交互逻辑与多场景覆盖能力上全面融入英伟达物理智能生态的伙伴,光轮智能正通过其技术积累与工程实践,持续推动仿真到现实(Sim-to-Real)的规模化落地。
Madison Huang在日前直播中回忆起了他们与光轮智能合作的渊源。她称,英伟达坚信仿真是解决问题的关键途径,而他们需要一个“合成数据工厂”,也需要找到认可英伟达OpenUSD架构的企业,“这个时机来得恰到好处,就在我们急需解决方案的时候,你们创立了光轮。”
双方的合作源于高度的战略共识。直播中,谢晨与Madison Huang都表达了对合成数据的重视。谢晨称,光轮智能“坚信合成数据将成为突破物理智能数据壁垒最重要、最主要的数据来源”,这与Madison Huang的观点不谋而合:“我们越来越相信,合成数据未来将占据数据总量的绝大部分。”
“英伟达内部有很多项目,都需要光轮智能的支持”,Madison Huang说道。从GEAR实验室,到GR00T端到端模型的研发,再到英伟达的西雅图机器人实验室,这些项目都需要海量的数据。
英伟达的核心计算业务,也有望从他们与光轮智能的合作中受益。Madison Huang将电缆仿真定义为机器人学习的“圣杯”级难题:英伟达的每个NVL72机架内部都包含约两英里的铜缆,布线的任务枯燥乏味,未来,英伟达希望用机器人来完成。
光轮智能是英伟达解决上述问题的关键,其CEO谢晨透露,他们正与英伟达的Newton团队合作,研发电缆仿真专用求解器和仿真资产。
![]()
除此之外,光轮智能还打造了光轮智能-YCB数据集、光轮智能Kitchen、LeIsaac、LeHome等仿真资产和环境。上述产品被广泛应用于英伟达Isaac Lab、DexBench、Policy Evaluation Framework等项目中,成为英伟达官方推荐的合作内容。
![]()
从工厂自动化到家用机器人,从汽车装配到仓储物流,光轮智能的仿真场景几乎覆盖了整个“物理智能”生态。其平台与英伟达Isaac Sim深度集成,能够让企业在几小时内完成复杂场景的构建、标注和数据生成。
Madison Huang在直播中强调:“今天展示的许多策略评估流程之所以能够实现,离不开合作伙伴所提供的高保真仿真数据——其中包括光轮智能的SimReady资产。”
双方的这一系列合作,标志着光轮智能已从技术使用者,跃升为英伟达机器人仿真与AI生态的关键基础设施构建者和标准贡献者。
此外,英伟达并非光轮智能唯一的知名客户,据悉,光轮智能还与DeepMind、斯坦福大学、麻省理工学院、Figure等海外知名企业和高校均有合作,国内的智元机器人、银河通用、阿里巴巴、字节跳动、理想、比亚迪、吉利等也与光轮有业务往来。
![]()
在谈及光轮智能的这份豪华客户清单时,Madison Huang称,光轮智能与各行业龙头企业的合作本身,就是对其产品质量和公司愿景的最佳证明。
三、学术界产业界共振,从研究突破到现实落地的仿真生态
在近期举办的两场圆桌活动中,李飞飞的Behavior Challenge、光轮智能的数据与仿真基础设施解决方案,为何能获得英伟达的高度认可?原因就在于他们都填补了仿真数据领域的关键空白。
李飞飞教授主导的Behavior Challenge搭建了一个高度复杂、逼真的虚拟家庭环境,让智能体在其中完成诸如整理桌面、做饭、寻找物品等真实生活任务。
Behavior Challenge与十多年前李飞飞教授推动的ImageNet一脉相承。ImageNet通过构建大规模视觉数据集,曾引发了深度学习在计算机视觉领域的革命;而Behavior Challenge构建的数据集和评估标准,则有望成为具身智能时代的“ImageNet时刻”。
两者的精神高度一致,以统一的基准和开放的生态推动整个领域的发展,只是前者让机器学会看懂世界,后者则让智能体真正在世界中行动。
![]()
今年10月,英伟达成为了Behavior Challenge背后的赞助商。这种合作不仅是技术层面的支持,或许更包含理念层面的共鸣:AI的未来不只是理解像素,而是理解世界。
如果说Behavior Challenge代表了学术界在数据集和评估标准的前沿探索,而光轮智能则在产业界通过其SimReady资产与数据生成能力,为物理智能的规模化落地提供核心数据支撑。这或许也是英伟达选中光轮智能,并不断加深双方合作的重要原因。
在与光轮智能CEO谢晨的对谈中,Madison Huang分享了一个有趣的观察:“自动驾驶汽车是当今首个实现量产规模的机器人形态,其核心任务其实就是不要碰到任何东西;而对其他类型的机器人而言,它们的任务恰恰相反——就是要“触碰一切事物”,完成各种复杂操作。如今,仿真比以往任何时候都更加重要。”
![]()
要让机器人具备“触碰一切事物”的能力,就需要打造其仿真训练中所需的各类资产。然而,现有的大部分传统3D模型只注重视觉外观,无法提供足够真实的仿真效果。
真正适用于仿真场景的资产,需要具备物理属性、材料特性、关节结构、可操作性等信息,使得智能体能够在仿真中正确地感知、抓取、推拉或使用物体。
光轮智能是“SimReady”概念的提出者,并打造了一整套适用于仿真的资产标准。谢晨解释道,光轮智能希望打造不仅在视觉上准确,而且也在物理意义上极为准确的资产。
例如,一个SimReady的“黄瓜”能在仿真环境中被随意地切开;一块SimReady的“草莓地”,则需要允许智能体在其中自由地“采摘”。
![]()
这些看似微小的物理一致性,背后是光轮智能在非刚性体(deformables)模拟领域的深度积累——其在成立早期就解决了非刚性物体的仿真资产问题。
为了确保物理一致性,光轮智能已经摸索出一条打造SimReady资产的成熟流水线。
他们运用了大量物理设备来采集精确的物理数据,将其融入仿真就绪资产,同时通过特定方法比对现实世界与模拟环境中的力学数据,确保两者匹配。谢晨称,这一过程至关重要,是光轮智能打造高质量、物理精确的仿真资产的核心步骤。
这种对“物理一致性”的追求,与英伟达强调的Physical AI理念高度契合。在Madison Huang亲自撰写的博客文章中,她将Physical AI定义为能够在物理世界中感知、推理、交互并导航的端到端模型,驱动从机器人到自动驾驶汽车,再到数据中心、工厂、智慧城市等种种系统。
要实现这一目标,符合物理规律的仿真环境与物理保真的交互资产正是关键基础。换言之,光轮智能的SimReady资产,正是培育Physical AI所需的土壤——高质量、物理一致、行为可交互的数字资产,让虚拟环境逼近现实世界,从而支撑机器人、自动驾驶等研究的发展。
谢晨进一步补充道,如果缺乏正确的“原料”(既高质量资产),即使有最好的求解器,也无法产生最佳数据。
更难能可贵的是,光轮智能的SimReady资产实现了质量与效率的平衡。通过深度优化,光轮智能确保其SimReady资产在计算上具备极高的运行效率。
例如,在碰撞计算方面,光轮智能确保碰撞检测可以通过基本图元(primitives)或凸包(convex hull)的方式来完成。这种方法在计算上极为高效,能够在单张GPU上同时运行成百上千个仿真环境,从而让机器人的强化学习训练过程保持极高的效率。
Madison Huang提到,未来,每一家生产实体产品的工厂都会拥有自己的数字孪生工厂(Digital Twin Factory)和AI工厂(AI Factory),让数字世界与物理世界实时联动。她很乐意将光轮智能介绍给愿意加入上述愿景的企业,光轮智能可以成为SimReady资产的提供方。
从Madison Huang的多次表述中可以看出,在英伟达的物理智能生态中,光轮智能已成为不可或缺的一环——如果没有光轮智能提供的仿真资产、数据和基础设施,Isaac Sim和 Omniverse的计算能力和求解器可能无法充分发挥作用。
换句话说,英伟达主导了平台与计算层,而光轮智能则承担内容层和基础设施层的核心角色。两者紧密结合,使整个物理智能生态既拥有强大的算力和算法支持,也具备高度物理精确、可交互的训练环境和数据,从而形成他人难以复制的技术壁垒。
结语:AI的疆界,是现实本身
李飞飞的Behavior Challenge、光轮智能的工业仿真,以及英伟达的Omniverse与Isaac Sim,其实共同勾勒出英伟达正在布局的“智能大棋盘”。
在这套体系中,Omniverse充当着“世界模型层”的角色,定义了虚拟世界的物理法则与运行逻辑;Isaac Sim是“仿真引擎层”,让机器人和智能体能够在高保真的物理环境中学习与进化;光轮智能则位于“内容与数据层”,持续提供海量真实可用的工业场景、SimReady资产与合成数据;而由李飞飞教授主导的Behavior Challenge则代表“认知与智能层”,探索人工智能如何理解人类行为与世界逻辑的最高形态。
在Madison Huang对谈光轮智能CEO谢晨、李飞飞受邀参与英伟达直播时,英伟达真正的野心也日渐明晰:它的下一步,不只是提升算力,而是模拟现实;不只是训练模型,而是训练世界。当每一次物理变化都能被计算、每一个交互都能被仿真,AI的疆界将不再停留于虚拟,而是延伸到现实本身。





京公网安备 11011402013531号