作者｜周一笑

微信｜smiletalker

“行，今年的 best paper 指标完成了。”（玩笑）

影眸科技Hyper3D CTO 张启煊在微信上用一句玩笑话回复了Joel Wang。Joel是影眸Hyper3D合伙人、物理 AI 事业部负责人，01 年的他当时正在洛杉矶机场候机，准备飞悉尼参会。他刚发送的是一封提名邮件截图，他作为共同第一作者的论文 cuNRTO，入围了 RSS 2026 Outstanding Paper Award 候选名单。RSS 今年录用了 210 篇论文，进入这份名单的只有 8 篇。

收到邮件时，他的第一反应不是激动，“是不太敢确定，收到提名这件事情的分量到底怎么样”。他在登机口打开 RSS 官网查这个奖，发现今年共有 8 篇论文获得提名，其中仅两篇成果包含由国人团队创立的商业公司的核心参与，分别是他所在的影眸科技Hyper3D和另一家头部具身智能公司银河通用。过去十几年里，仅有清华大学与中国企业背景团队的一次合作、浙江大学，以及个别中国学者参与的国际合作论文进入过RSS最高论文奖项候选名单。“那一刻我才有一点上头。”

影眸Hyper3D是一家 3D 生成领域的头部公司。核心产品 Hyper3D 出现在黄仁勋今年 CES 演讲的官宣 AI 工作流里，客户名单上有 Lowe's、网易和字节跳动等全球知名企业，其企业客户规模已位居行业第一。

cuNRTO 做的是机器人轨迹优化，让具身在风、摩擦、执行误差的干扰下，依然能快速算出安全的动作。一家 3D 生成公司和机器人顶会的最佳论文候选名单之间，隔着一整个学科。

“每年一篇best paper”是影眸Hyper3D 团队的内部梗，大家经常笑谈“论文绝对数量不多，但每年一篇best paper”。事实上，团队从未将论文发表设为硬性考核指标，在绝对数量不算多的论文中，顶会战绩却比大多数认真设了 KPI 的团队更稳定：原生 3D 框架 CLAY、文本生成工业可用三维服装 DressCode，双双拿到国际图形学顶会 SIGGRAPH 2024 最佳论文提名；场景级生成研究成果 CAST 拿下 SIGGRAPH 2025 最佳论文。（相关科研成果：https://hyper3d.ai/workspace/rodin/tab/research）

这支团队做的事，正在跨越3D生成、场景构建、物理仿真和机器人控制，从生成一个世界，延伸到让智能体在物理世界里行动。

公司约 60 人，算法团队里每两个人就有一个拿过或被提名过顶会最佳论文，今年 SIGGRAPH 又接收了 6 篇，科研成果产出对标全球顶级实验室，这是业内唯一连续多年斩获 SIGGRAPH 、RSS顶会最佳论文及提名的公司。而 Joel 自己说，三年前被张启煊和吴迪（影眸科技Hyper3D CEO）“薅”来写前端的时候，连前端都是“现学”的。现在他是影眸Hyper3D合伙人和物理 AI 事业部的负责人，论文发进了机器人顶会的最佳论文名单。以下是对话，经编辑整理。

"不是大概率没事，而是一定没事”

硅星人：回到论文本身。能不能用一个具体场景，给读者解释 cuNRTO 解决了具身领域的什么问题？

Joel：可以做一个比方。比如我们家里有一台会做饭的机器人，今晚要它去炒一盘辣椒炒肉。这个场景对机器人来说其实是非常凶险的。锅柄沾了油就会打滑；食材调料下锅后，锅的重量一直在变；你要颠勺，要快速做大幅度的动作；同时你家可能有小孩、宠物，随时凑到旁边看热闹。任何一个环节出问题，比如手腕多转了几度，某一次颠勺力度大了一分，就是一锅热油泼出来。

传统的规划方式是假设偏差不存在的。锅柄是不滑的，菜有多重是知道的，旁边也是没有人的。按一套理想的厨房，算出一套理想的动作。但在这种场景下，任何一个偏差都是一个事故。cuNRTO 做的鲁棒轨迹优化其实反过来，先把所有的偏差圈出来。锅柄最滑能滑到什么程度？菜的重量最轻最重能差多少？旁边这个人最近会有多近？然后提一个要求，不管这些偏差以哪一种组合发生，油都不允许出锅沿，机器人的手也不允许碰到人。

说得玄学一点，就是让机器人在动手之前，先在脑子里把所有可能的平行宇宙的厨房都过一遍，确保自己在每一个情况下都不会闯祸。它提供的是一个数学上的保证，而不是一个概率性的事件。不是说大概率没事，而是说一定没事。

硅星人：在这项工作之前，机器人轨迹优化“算得快”和“保证安全”为什么难以兼得？

Joel：因为保证安全这件事，从数学上看是非常昂贵的。现实世界里风大一点、摩擦小一点，本质上都对应一个物理参数略有不同的可能世界。对所有扰动都不出事，意思是你规划的这套动作，要在无穷多个可能的世界里同时安全。扰动是连续的，这就意味着有无穷多条约束，不可能逐一检查。

这篇工作之前，我的共同一作提出了 NRTO 框架，把无穷多条约束重构成有限个二阶锥规划。理论上可行，数学上很漂亮。但求解这类问题要用内点法，内点法本质上是串行的，问题规模涨上来，计算量就会爆炸。所以之前只有两个选择，要么很快地求解，但只对一个理想化的世界负责；要么有保证，但一个任务算几个小时，只能待在论文里。这两样东西在原来的算法结构下本身就是互斥的。

硅星人：你们的解法和之前的尝试相比，最关键的区别是什么？

Joel：最开始其实是小修小补，我们换掉了最耗时的求解环节，它确实有效，但本质上是换了一个求解器。我们心里觉得这样不够 solid，相当于换了一个零件，本质是工程工作。

真正的转折点是我和合作者讨论的时候，意识到我们换上的那个中间步骤，本质上是一个投影的方法。既然投影这一步已经在做了，干脆把整个问题重构成一个单层的循环，让整个求解过程完全搬到 GPU 上。之前的方法还有一部分在 CPU 上，数据在 GPU 和 CPU 之间传输非常耗时，哪怕 GPU 快出来时间，可能又被吃回去一大部分。

在这个思路下重新推导、验证，跑出来发现这个方法确实非常快。论文里有一个 7 自由度机械臂的 case，原来的方法算一条安全路径要 1 小时，现在只需要 100 多秒。在这种情况下，它就变得真的可用了。

硅星人：这篇论文的选题从何而来？

Joel：我的科研是在 UCSD 开始的，做 task and motion planning，可以理解为现在 VLA 和 world action model 的前身。在实验室我逐渐意识到一件事情，也是深受我导师 Henrik Christensen 的启发。他认为基于学习的方法在关键任务上很难做到可用。什么是可用？99% 以上的成功率，只有这样才会有人为它买单。传统的算法有保证，但是太慢。为了解这个死结，我开始做 GPU 加速。另一半启发来自影眸Hyper3D的经历，看着 Hyper3D Rodin 的 Sim-Ready 资产交付给具身团队，我总在想，资产 Sim-Ready 了，策略呢？它到真实世界还不够 reliable，这道坎就是 cuNRTO 要啃的。

被“薅”来写前端的合伙人

硅星人：从 UCSD 的机器人实验室，到影眸科技Hyper3D这家3D 生成公司的合伙人和物理 AI 事业部负责人，这中间的故事是怎样的？

Joel：影眸这条线开头是比较“离谱”的。2021 年我本科的时候非常热衷黑客松，有一次和朋友参赛，认识了启煊，他们拿了第一，我们拿了第二。

2023 年初，影眸还没有开始做 Hyper3D，正在推一个数字人方向的项目，叫 ChatAvatar。启煊苦于找不到一个靠谱的人写这个项目的前端。很有意思的是，我根本不会写前端，当时刚结束大厂的后端实习。但启煊第一次和我打电话，就和我沟通了几个需求。因为是朋友，碍于情面不好拒绝，当时想干两天找理由跑路，结果需求一个接一个，我就现学现卖，确实把前端写出来了，也跟影眸结缘了。

后来我去影眸线下工作，一半时间在项目组，一半时间在影眸的实验室。我意识到这是一个极具创造性的团队，大家非常聪明，很有趣，而且没有架子。举个例子，我第一天到公司，第一个见到的人是 Logan，影眸合伙人之一，带着我参观了学校和公司。而且那时候 GPT 这些 AI 还只能写诗、写小作文，但这群人已经开始做 AI native 的东西了。从那开始和影眸 Hyper3D 的连接一直没断，从最早的前端，到后来帮公司搭建工程团队、做增长，角色换了好几轮，恰好我后面读博做 robotics 相关的研究，这么多年过去，自然而然就成为了影眸的合伙人和物理 AI 的负责人。

学术这条线上，我在 UCSD 读了两年多的时候转到了剑桥大学，主要原因是我对 robotics 的方向判断有些改变。在影眸的工作让我意识到，robotics 真正的瓶颈正在浮出水面，是数据、仿真、sim-to-real。想明白这件事以后，我把研究重心转到了这个方向。

硅星人：合伙人和一线研究者，这两个身份最大的不同是什么？

Joel：最大的不同是问题的来源。在纯学术的环境里，你常常在为 novelty、为问题的新颖性去找问题。在公司里其实是反过来的，问题每天追着你跑。为什么？因为客户的要求就摆在那里。这两个身份对我来说是互为校准的。合伙人的身份让我知道哪一个问题值得花长时间去解；研究者的身份，让公司敢往 3 年后甚至更久以后去看。

在别人犹豫的地方下注

硅星人：解决 Sim-to-Real，主流的直觉是把模拟器越做越真。你们选择让策略对模拟器的不完美有鲁棒性，这个判断是怎么来的？

Joel：大家都觉得模拟器应该越做越真，但大家也都很清楚，近期内不可能在仿真里模拟出现实世界，这是共识。所以模拟器再真，它和现实世界之间也有 gap。与其去消除这个 gap，不如把它作为策略的一部分，让我们的策略对不完美的模拟器、对不完美的物理有鲁棒性。这是我们的出发点。

硅星人：敢走非共识的路线，在你们团队的技术选择里似乎不少见，当年挑战 3D 原生路线也是。这是团队的风格吗？

Joel：与其说我们喜欢做非共识的路线，不如说我们对主流有一个更统一的检验标准，就是这条路线的天花板，是否达到了产品的可用性。举个例子，当年在 3D 生成领域，很常见的方式是 2D 升维，但即便这个方法产出再多论文、再热闹，生成质量上限达不到 production ready。在这种情况下，影眸团队就敢在账上现金流还很紧张的时候押注原生 3D，基于团队发布的原生 3D 大模型框架 CLAY（提名SIGGRAPH2024最佳论文），影眸在 2024 年推出了全球首个原生 3D 大模型产品 Hyper3D。同理，今天端到端的 learning 哪怕再受关注，在关键任务上如果达不到 99% 以上的成功率，这条底线我们就不会放弃。而 cuNRTO 要做的，正是守住这条线。

所谓非共识，背后的逻辑是同一个。我们从自己的感受出发，从用户的视角出发，知道该走哪条路。还有一个判断方式，当所有人都在做的事和客户愿意付钱的事之间出现了 gap，那就是可能该反着走的时候。

当然，非共识也是需要底气的。我们目前的底气在于，从 CLAY 开始，我们对 3D 生成行业底层框架的理解比友商早 3 到 6 个月。这 3 到 6 个月的领先优势带来的是，我们可以在别人犹豫的地方下注。

硅星人：影眸Hyper3D在过去几年推出了原生 3D 框架 CLAY、场景级生成框架 CAST、递归分件技术 BANG 和 cuNRTO 等一系列工作，你怎么看待其中的关系？

Joel：这些工作是一条线。CLAY 解决的是三维物体如何生成；BANG 解决的是物体的结构该如何理解、如何拆解；CAST 是物体之间物理关系的构建；cuNRTO 解决的是智能体如何在不确定性的环境中安全行动。简化来说，这四篇工作形成了是一条线，跨越3D生成、场景构建、物理仿真和机器人控制，解决同一战略版图中的不同底层问题。这条线能连起来，是因为每一环都有人把底层做到极致，比如主模型训练就由龙哥（影眸科技联创张龙文）带领团队负责，我在版图最下游做"让智能安全行动"，上游的资产质量有他们兜底，我不用回头担心基础。

这四个方向在多数机构里分属不同的实验室，在影眸Hyper3D，由同一支团队完成。

成为更底层的基础设施

硅星人：你负责的物理 AI 事业部，具体在做什么？影眸会正式进军具身智能吗？

Joel：影眸Hyper3D并没有说要做具身智能的规划，因为影眸不做具身主体，但它想成为具身的基础设施。我们提供数据，提供资产，让具身公司可以专注去做他们想做的事，比如模型本身，比如硬件。物理 AI 事业部和传统意义上的事业部也不太一样，不是把一群研究者圈进一个部门，从此只做一个方向，影眸的研究大家都是一起做的。它更像一个战略部署，代表我们在商业和战略上认为 physical AI 是必须要押注的方向。

具体的进展，Hyper3D 平台上的 Sim-Ready 功能已经上线，我们去年发表的一篇铰链式物体生成的研究，这个月会上线 Hyper3D，基于去年 SIGGRAPH 最佳论文做的 世界生成模型 WorldGen 也即将上线；今年7月，影眸联合地瓜机器人、谋先飞发布了“具身智能可训练仿真闭环联合解决方案”。逻辑是很一致的，就是更有效地运用影眸的这些上游资产，让它们为具身所用，为具身可用。

硅星人：把视角拉远一点。如果拿语言模型的发展做参照，机器人在真实物理世界里的可靠性，现在大概走到了哪一年？

Joel：我觉得在能力上比较像 GPT-3 出来的时候，当时的 demo 非常惊艳，对大家有一个颠覆性的认知。但在可靠性上，可能还在 GPT-2 这个阶段。

简单说，就是你不敢把机器人、把端到端的 policy 直接放进生产环境。语言模型后面靠 scale、靠对齐，但机器人比它多一道难关。模型说错话了、出现幻觉了，把 session 关掉重来，换个 prompt 就行。机器人做错动作是物理性的，你打翻了一杯水，不能撤销。所以机器人不能只等 scale，还需要一类给下限兜底的东西。

再往深一层说，智能这件事从来都不是在一个完全已知的世界里做到最优，那个东西叫做计算。智能是在一个你无法认知的世界里保持可靠。人天生就是这么干的。你端一杯倒得非常满的热咖啡，会不自觉放慢脚步，留出余量。人的这个规划本质上就是鲁棒规划。我们接下来想给机器人的，就是对这种不确定性的分寸感。语言模型这两年学会了一件事，先思考，再回答。机器人说白了也需要这样，先掂量一下，再动手。

硅星人：那机器人要真正规模化走进物理世界，还缺的下一块拼图是什么？

Joel：核心就是刚刚说的，可靠的 sim-to-real transfer。

“最大的福利是和一群聪明且没有架子的人共事”

SIGGRAPH 和 RSS 分属图形学与机器人学，两套社区，两套审稿标准，影眸Hyper3D团队成员在两边都进入了最高奖项名单，这在创业公司里非常少见。

硅星人：cuNRTO 和影眸Hyper3D的主营业务没有直接的短期关系。这样的项目在公司内部是怎么立项的？

Joel：影眸Hyper3D的研究一直都是非常自由的，或者说研究自由本身是一个制度性的东西，大家想做什么 topic 都 OK。我们判断一个研究值不值得做，遵循的是“谁提出，谁论证”，你自己觉得可行就去做。我们不是一个凭经验说话的团队，团队以博士为主，但现在很多科研方向是本科生在带。另外，我们在研究上没有赛马机制，只要你认准一条路，资源就集中跟上。我觉得这可能也是我们能在图形学和机器人两个不同的顶会里，都拿到最高荣誉提名的一个很核心的原因。这个方向是我博士期间想做的，公司给的更多是硬件上的支持和思路上的建议。

有一个细节。去年有一次我和启煊说，我接下来要做 GPU 加速了，要写 CUDA kernel。他的第一反应是，哦 God，写 CUDA kernel 想必是很痛苦的。这个过程确实挺痛苦。然后他说，这个搞清楚以后，以后我们的模型推理优化有人做了，然而最后这部分还是龙哥做，龙哥太强了（笑）。所以在影眸，就是支持你的研究，同时也会基于你研究的方向顺手给你加活。当然这是开玩笑的。

硅星人：一支 60 人的团队持续产出顶会最高荣誉级别的成果，你们招人的时候看重什么？

Joel：我们算法团队的成员，基本上两个人里就有一个拿过 顶会 Best Paper 或提名。但我们在乎的不是你在加入影眸之前做了多强的研究，做了很强的研究当然是好事，但不是核心的衡量标准，而是你有没有足够的成长潜力。因为我们的人才大部分都是在影眸Hyper3D“长”出来的。我自己就是一个样本，来的时候是大三，没做过太多科研，现在在做物理仿真，做 robotics。影眸的机制就是问题优先，不设边界。解决一个问题需要什么样的能力，我们的人就会往那个方向去“长”。

在如今，履历也好，标签也好，越来越不重要了，尤其是现在 AI 把执行成本打下来很多。我们更看一个人的品味和直觉，你会去选择解决一个什么样的问题。AI 的放大效应并不是均匀地分给每个人的，它在以非常快的速度抹平学历和智力的差距，这些标化的东西在通货膨胀。AI 可以替你完成执行的那部分工作，那你的直觉和你的 taste，你选择去做什么样的问题，你认为什么样的工作有意义，就变得前所未有的重要。

硅星人：公司内部是怎么看待这些论文奖项的？

Joel：影眸Hyper3D这几年收获颇丰，是业内唯一一个连续多年获得 SIGGRAPH 最佳论文及提名的商业公司，今年 SIGGRAPH 又被接收了 6 篇。怎么看？平常心吧。你看启煊发的那句，“OK，今年的 best paper KPI 完成了”，就是一个很真实的氛围。奖项在我们这不是目标，是我们选对了一个问题的结果。论文拿奖是学术界的认可，让更多用户用起来，才是我们真正的 KPI。

硅星人：你们科研成果的产品转化率有 70%。怎么平衡自由探索的研究和可落地的商业化？

Joel：我们没有在平衡这两件事，因为在影眸Hyper3D它本身就不是两件事，研究的问题很多都是从生产的一线长出来的。CLAY 是因为 2D 升维满足不了客户的需求；BANG 是因为游戏资产必须能拆；cuNRTO 是因为影眸在做仿真资产，仿真资产的价值最终取决于策略能不能真正落地，客户会不会为它买单。我们选对了问题的源头，商业化的转化就是自然的结果。

反过来说，如果有个实验室要专门开会讨论怎么平衡研究和产品，我觉得大概率说明他的问题选错了。

硅星人：这些人为什么会选择影眸Hyper3D，并且留在影眸Hyper3D？

Joel：对于聪明人来说，最大的福利是和一群聪明且没有架子的人共事。这是当年我第一次在影眸Hyper3D线下工作时最直接的感受，也是我留下来最大的一个原因。没有架子还有另一面，意见分歧的时候，大家是真的会吵。张龙文和 Logan 就当面吵过，两个人对着屏幕互相指出对方方案的问题，甚至拍桌。但吵完该改的改，事后还是好兄弟。在影眸，观点交锋和私人关系是完全分开的两件事，这种可以放心吵架的安全感，其实比一团和气珍贵得多。连我们 CEO 吴迪也是这个风格，他反复跟大家强调，有重要事情可以不用约时间，直接打电话就行。再往深处说，影眸Hyper3D给了一个研究者在别处很稀缺的东西。第一是问题的定义权，你可以去探索一个长期的、高风险的、可能不直接服务于下个版本的问题。第二，我们的研究不是闭门造车，70% 的成果变成产品，被用户真实地用到，这种正反馈是学术环境给不了的。第三，核心研究者本身就是创业者，参与公司决策，你并不是一个执行部门。我就是一个非常典型的例子。

硅星人：如果一个研究最后没有走通，内部会怎么看待它，和做它的人？

Joel：我们对走通的定义是，把一个真问题往前推了一小步，哪怕最终推出来的结论是此路不通，也是 OK 的。比如 cuNRTO 这篇文章，我们第一版换了一个求解器，效果是挺好的，有个 case 从 8 小时降到了半小时，拿去发表，成果来说也够了。但我们自己判断它不够 solid，因为只是换了个零件，所以推倒重来，后面才有了搬进 GPU 的整个重构。

每个失败的研究、每个废掉的设计，都是在为最终能跑通的方案排雷。所以在影眸，也在我自己研究的世界观里，没走通的探索我们不叫失败，叫排雷。人更不可能因此而被否定。敢去选这样难的问题、可能试错的人，恰恰是我们最想留住的人。

硅星人：你们团队都很年轻。年轻肯定有好处，但“太年轻”有没有在哪个时刻给你们带来过麻烦？

Joel：麻烦当然是有的。我们公司内部有一个人尽皆知的段子。2020 年的时候，我们第一代的穹顶光场做数字人扫描，技术上很漂亮，可以做到非常高的精度，也可以发很好的文章。但当时发现一个问题，我们的材质、坐标系，跟影视的工业标准是对不上的。这个东西做出来了，但根本没有人买单。这就是年轻最真实的代价，不是别人信不信任你，而是你根本不知道自己能做什么、不能做什么。

但另一个很有意思的点是，走到今天，我们很多关键的决定，恰恰也是这种无知带来的。比如当年押注原生 3D，懂行的人都觉得不可能，但我们去试了，然后我们成功了。

我们内部现在做的是两件事。第一种无知要补掉，就是不了解规则的无知，做的东西要有人买单。第二种无知我们要保护起来。我们愿意让一些本科生直接带前沿方向，让任何有想法的人都可以提。去年有记者说，我们团队不像 95 后，像上一代的创业者。我觉得这可能是对我们非常准确的描述，我们是一个心态上最“老”、最成熟的 95 后、00 后团队。

24 岁，和一张还在生长的研究版图

硅星人：最后回到论文。假设三年后回头看，cuNRTO 对影眸Hyper3D这家公司最大的意义会是什么？

Joel：可以分两层。对行业来说，我希望 3 年后 cuNRTO 作为一个 library，是具身领域的基础组件之一。大家如果提起鲁棒规划太慢太贵，会说，OK，这个问题其实已经被解决过了。对影眸Hyper3D来说，我猜它可能会被标记为一个转折点，影眸从一家生成世界的公司，走向一家让智能体在世界里行动的公司。我们可以说，cuNRTO 是这个转向的第一块正式落子。

硅星人：生成世界，和让智能体在世界里行动，这两件事最大的区别是什么？

Joel：生成更多的是我们去复刻一个世界，这个世界是完美的。让智能体行动需要做的，是不再执着于复刻一个完美的世界。现实里的摩擦、接触、机械臂的执行误差，我们永远没有办法真正还原。让智能体行动，做法就要反过来，去生成很多看似合理的宇宙，摩擦大一点、风强一点，然后让我们的策略在生成出的这一簇宇宙里全部都能活下来。只要我们现在所生活的宇宙在这一堆宇宙之内，我们保证就能自动地迁移过来。生成式重建理论上是完美的，而智能体行动是不完美的。

在交流的结尾 Joel 提到，影眸Hyper3D内部做研究已经大量使用 AI，写代码、跑验证里的机械部分都尽量交给 AI，人留下来做的事情，是选问题。

cuNRTO 选中的问题，是把鲁棒优化从论文里的数学，变成工程上跑得动的东西。和英伟达的合作如果顺利，下一步是把计算压到毫秒级，机器人每次动手之前，都来得及实时重新规划。用 Joel 的话说，先掂量，再动手。

从 CLAY 到 BANG 到 CAST，再到 cuNRTO，影眸Hyper3D的研究版图从生成一个完美的世界，走到了让智能体在不完美的真实世界里活下来。两件事看起来相反，在影眸的版图里却是一条线的两端，3D 世界生成出来，就是给智能体去理解、去行动的。

Joel 今年 24 岁，是最年轻的技术团队成员之一。他们当中的很多人，就是在这家公司里从本科生长成了研究者、创业者。那张研究版图，看起来还在往外生长。

如果你也看到了这里，如果你也希望加入这样一支团队，欢迎投递简历至：hello@deemos.com。影眸Hyper3D期待与你一起探索更大的世界。

点个“爱心”，再走 吧