新智元报道
编辑:LRST
天津大学联合清华和卡迪夫大学推出RESCUE系统,把「大脑感知-决策-行动」循环搬进电脑,让数百个虚拟人同时在线逃生:他们能实时看见地形、同伴和出口,自动绕开障碍,年轻人快跑、老人慢走、残疾人蹒跚;系统还能把身体24个部位的碰撞力用颜色实时标出来,帮助设计师提前找出潜在风险区域,也能用来演练地铁火灾、演唱会疏散等公共安全场景。
人群疏散模拟对于提高公共安全至关重要,也是构建逼真虚拟动态环境所需要的技术,其发展面临着复杂人类行为建模难的挑战。
现有的疏散模拟方法常以2D点表示人群,关注人群位置和轨迹,但忽略了复杂人类行为,如碰撞、交互、摔倒等,以及三维环境、个体行为能力的影响,导致模拟结果不真实。
而现有的三维运动生成方法和角色控制方法也无法同时保证实时性、合理性、个性化、动态感知、以及适用于任意场景和地形,如表1所示。
针对以上问题,天津大学李坤教授团队联合英国卡迪夫大学、清华大学,在发表于ICCV2025的工作中,依据人类大脑的「感知-决策-控制」(SDM,Sensory-Decision-Motor)循环机制,提出了首个实时的三维人群疏散模拟框架RESCUE。该框架支持多个智能体并行移动,具有动态的人群感知能力,同时适用于各种场景。
论文链接:
https://cic.tju.edu.cn/faculty/likun/projects/RESCUE/imgs/LXL_RESCUE.pdf
项目主页:http://cic.tju.edu.cn/faculty/likun/projects/RESCUE
代码链接:https://github.com/xiaolin0314/RESCUE
在感知层,研究人员建立了多模态环境信息的分析机制,包括地形特征、障碍物分布及邻近个体状态;
在决策层,研究人员提出了三维自适应社会力模型,基于环境动态变化在线计算运动趋势;
在运动控制层,研究人员设计了个性化步态生成器,结合物理引擎实现了具备物理合理性和个性化的动作输出。
同时,研究人员设计了部位级接触力感知与可视化模块,可帮助疏散过程中关键风险的量化分析。
实验表明,该框架支持在线路径规划,可兼容多样场景和地形,生成的动作物理合理、具有个性化,疏散逃生成功率高、跌倒率低,部位级受力感知准确。
总的来说,该研究可以为公共安全领域的应急预案制定、人群疏散分析提供仿真和参考。同时,此框架具备通用性和扩展性,可以模拟一般的人群运动,如行人。
图1 RESCUE实现个性化、物理合理、三维自适应的在线人群疏散模拟
RESCUE方法
研究人员的目标是构建一个自适应的多智能体三维疏散模拟框架。神经科学研究表明,人类在复杂环境中会通过分布式神经网络整合环境信息([1]),运用「感知-决策-运动控制(SDM)」循环来评估并动态调整行为。
以此为启发,研究人员提出了一个基于SDM循环机制的在线三维疏散模拟框架,将个性化决策与基于物理引擎的角色控制结合,使每个智能体能够感知周围动态环境并在线调整行为。
为应对拥堵,研究人员设计了适用于三维环境的自适应社会力模型,用其进行决策与避障。
为了实现行为多样性,研究人员提出了个性化步态控制器和优化的三维社会力模型,通过年龄、身体状况等属性,为每个智能体生成差异化的逃生行为。
此外,研究人员还设计了部位级的受力感知与可视化帮助进行疏散分析。
RESCUE框架总览
RESCUE旨在生成具有多样化个体特征的真实感三维疏散仿真,给定场景网格、出口位置和初始位置,在线生成个性化的群体疏散动画。
框架将在线决策与基于物理的运动生成相结合,如图2所示,核心包括以下部分:
(1)提出了在线的联合SDM三维疏散模拟框架:结合在线决策与基于物理的运动生成,该框架支持群体间的相互感知,可适应任意新场景,支持百人级多智能体仿真。
(2)设计了三维自适应的社会力模型,包括绕行力和改进的驱动力、排斥力,及对应的个性化系数,增强了三维环境下的决策制定和动态障碍物避让能力。
(3)提出了个性化步态控制器,使智能体能够根据年龄与身体状况等属性生成个性化运动。该方法也提供部位级受力感知与可视化,以供疏散分析。
图2 RESCUE框架总览
三维自适应的社会力模型决策机制
在三维仿真中,由于使用物理引擎,交互动力学与基于二维点的模型有显著差异,在拥堵情况下智能体可能绊倒或跌倒,而非仅仅减速,因此高效的寻路需要采取绕行而非等待或碰撞。
研究人员提出了为三维仿真设计的自适应社会力模型。首先,研究人员在经典社会力模型([1])的基础上增强了驱动力和排斥力,保证智能体正确前往终点并避开障碍物。
为应对因拥堵导致的等待或跌倒的状况,研究人员提出了绕行力,在智能体前方扇形感知区域内有障碍物时,沿期望行进方向的垂直向量作用,帮助智能体绕行障碍物。
针对青年、中年、老年、病患和残疾人五大类个体,研究人员在物理引擎中进行了直线路径测试,通过优化输入引擎的设定速度,使仿真速度精确匹配文献中真实逃生速度(精度 0.005 m/s),实现了 SFM 系数的个性化。
三种力合成,保证了在复杂三维环境中既平滑无碰撞,又个性化的疏散运动。
个性化步态控制器
研究人员提出了一种个性化步态控制器,生成符合智能体属性的逃生步态。
首先,使用Pacer基于策略
根据期望速度在二维平面上采样轨迹,在给定状态S(包括位置、姿态状态、环境状态)时输出动作
针对不同属性的人群,研究人员将其典型步态映射至100 style数据集([4])中的个性化标签,并采用扩散式生成模型,将步态标签、无个性化动作帧和随机高斯噪声为输入,输出与标签对应的个性化动作帧。
为实现精确匹配,研究人员受([5])启发将一个步态周期划分为初次着地、支撑中期、对侧着地和双脚并拢四个关键事件,分别赋予步态值0、0.3、0.5 和 0.75,其他帧通过线性插值填充,再将具有相同步态值的无个性化帧与个性化帧配对。
转换网络将CAMDM([6])网络作为backbone,实现从无个性化动作帧到个性化动作帧的转换,结构如图3所示。
在每次去噪步骤中,接受带噪动作样本、扩散步数t及个性化步态标签c,学习预测原始无噪声帧,表示为
以帧级均方误差损失与三维关节位置损失
进行优化,权重由
和
控制。
完整的损失函数是:
在物理引擎仿真中,将无个性化动作帧的上肢动作
替换为对应的个性化上肢动作,并将仿真产生的整帧动作反馈给感知模块,用于下一时刻的决策与运动控制循环。
图3 个性化步态转换器
部位级受力感知与可视化
研究人员为每个智能体的24个身体部位配备力传感器,实时记录与环境或其他智能体接触时产生的力,并通过颜色深浅渐变直观展示部位级别的受力强度,部分结果如图4所示。
这为分析疏散过程中的关键受力、预判拥挤环境潜在风险提供了支持。
图4 多种碰撞情况的力可视化
实验结果
由于目前尚无个性化的三维疏散仿真方法,研究人员将所提方法与三种相关方法进行了对比:社会力模型([3])、运动生成方法OmniControl([7])和角色控制方法MaskedMimic([8])。
为保证公平比较,研究人员对对比方法进行了适配,先划分场景中的可行区域,通过A*算法规划每个初始位置到终点的轨迹,依次将每段轨迹作为输入引导对比方法的动作生成与控制,使其能够完成群体疏散任务。
研究人员在四个实验场景下分别计算50人在1000帧内的平均疏散成功率和平均跌倒次数,每个场景各运行10 次。
由于OmniControl不具备物理真实感,不会产生跌倒现象,其跌倒次数不予计算。结果如表2所示,论文提出的方法在所有场景中均为最优。
表2 定量对比结果
论文还展示了在经典疏散和大规模建筑两个场景中,三种对比方法与论文方法的疏散过程及运动效果(见图5)。
社会力模型仅为二维方法,无法表现三维人体运动。
OmniControl无法正确生成受长距离轨迹约束的动作,导致运动畸变、轨迹混乱和过早停止;MaskedMimic缺乏碰撞规避机制,易发生碰撞造成拥堵,也难以体现个体差异。
相比之下,论文方法能够产生更合理的疏散过程,并针对不同属性个体模拟个性化的疏散动作。具体可以详见该工作的demo视频。
图5 定性对比结果
研究人员进行了消融实验(见图6)和不同类别人群的速度分布统计(见图7)。
结果证明,设计的三维自适应的社会力决策机制和个性化步态控制器,能够正确实现相互避让的动态路径调整,生成的动作步态具有个性化,使不同类别的群体可以表现出对应的速度和行为模式。
图6 消融实验结果
图7 不同类别人群速度分布箱线图
研究人员还进行了详细的说明性实验,验证框架是否能够在多种场景中,还原真实的疏散过程,对疏散分析提供帮助。图8和图9展示了不同疏散密度和通道宽度下,瓶颈区域踩踏发生的模拟结果。图10展示了模型对于不同地形条件的疏散模拟能力。
图8 疏散密度相同但走廊宽度不同的疏散模拟结果
图9 走廊宽度相同但疏散密度不同的疏散模拟结果
图10 各种地形中的疏散模拟结果
总结
论文提出了一种新的人群疏散模拟框架,能够实现在线决策、交互合理、动态感知、行为个性化的人群运动模拟。
此外,研究人员还设计了部位级的力感知和可视化,增强了疏散分析。实验证明,该方法可以实时模拟疏散过程中,具有不同属性个体的个性化准确和物理合理的疏散动态,产生的逃生动作和交互优于现有方法。
通过此框架可以测试疏散场景中观察到的多种现象,为人群疏散和公共安全提供新的技术手段。同时,该框架也具备通用性和扩展性,可以模拟一般的人群运动,如行人。
参考资料:
[1]Andrei Khilkevich, Michael Lohse, Ryan Low, Ivana Orsolic, Tadej Bozic, Paige Windmill, and Thomas D Mrsic Flogel. Brain-wide dynamics linking sensation to action during decision-making. Nature, pages 1–11, 2024. 1
[2]Davis Rempe, Zhengyi Luo, Xue Bin Peng, Ye Yuan, Kris Kitani, Karsten Kreis, Sanja Fidler, and Or Litany. Trace and Pace: Controllable pedestrian animation via guided trajectory diffusion. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13756-13766, 2023. 1, 2, 3, 4, 7
[3]Dirk Helbing and Peter Molnar. Social force model for pedestrian dynamics. Physical review E, 51(5):4282, 1995. 2, 3, 4
[4]Ian Mason, Sebastian Starke, and Taku Komura. Real-time style modelling of human locomotion via feature-wise trans formations and local motion phases. Proceedings of the ACM on Computer Graphics and Interactive Techniques, 5(1):1–18, 2022. 4, 5
[5]Donald A. Neumann. Kinesiology of the musculoskeletal system: foundations for physical rehabilitation. 2002. 4
[6]Rui Chen, Mingyi Shi, Shaoli Huang, Ping Tan, Taku Komura, and Xuelin Chen. Taming diffusion probabilistic models for character control. In ACM SIGGRAPH 2024 Conference Papers, pages 1–10, 2024. 3, 5
[7]Yiming Xie, Varun Jampani, Lei Zhong, Deqing Sun, and Huaizu Jiang. Omnicontrol: Control any joint at any time for human motion generation. arXiv preprint arXiv:2310.08580, 2023. 1, 2, 3, 5
[8]Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, and Xue Bin Peng. Maskedmimic: Unified physics-based character control through masked motion inpainting. ACM Transactions on Graphics (TOG), 43(6):1–21, 2024. 1, 2, 5