近日，美团 LongCat 团队推出了一个名为 UNO-Bench 的全新基准测试，旨在系统性地评估这些模型在不同模态下的理解能力。这个基准测试涵盖了44种任务类型和5种模态组合，力求全面展现模型的单模态与全模态的性能。

UNO-Bench 的核心在于其丰富的数据集。团队精心挑选了1250个全模态样本，这些样本的跨模态可解性高达98%。同时，还增加了2480个经过增强的单模态样本。这些样本不仅充分考虑了真实场景的应用，尤其在中文语境下表现尤为出色。而值得一提的是，经过自动压缩处理后，这些数据集的运行速度提高了90%，并在18个公开基准测试中保持了高达98% 的一致性。

为了更好地评估模型的复杂推理能力，UNO-Bench 还引入了一种创新的多步骤开放式问题形式。这种形式结合了一个通用的评分模型，能够自动评估六种不同题型，准确率达到了惊人的95%。这种创新的评估方式，无疑为多模态模型的评测提供了新的思路。

目前，UNO-Bench 主要聚焦于中文场景，团队表示正在积极寻求合作伙伴，计划共同开发英语及多语言版本。感兴趣的开发者可以通过 Hugging Face 平台下载 UNO-Bench 数据集，相关代码和项目文档也已在 GitHub 上公开。

随着 UNO-Bench 的发布，多模态大语言模型的评估标准将得到进一步提升，这不仅为研究者提供了有力的工具，也为整个行业的进步铺平了道路。

项目地址:https://meituan-longcat.github.io/UNO-Bench/