这项由香港科技大学罗艺宏、香港中文大学（深圳）胡天阳和香港科技大学（广州）汤京教授领导的研究发表于2025年1月的arXiv平台，论文编号为arXiv:2510.08425v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

想象你正在学习做一道复杂的菜，传统方法需要你每次都把整道菜从头到尾做一遍才能知道哪里需要改进。但如果有一种方法能让你只需要尝几口关键的部分，就能知道整道菜的好坏，并且知道怎样调整能让它更美味，那该多好？这正是研究团队在AI图像生成领域取得的突破性进展。

近年来，AI图像生成技术已经能够根据文字描述创造出令人惊叹的图片。就像有个超级画家能够根据你的描述画出任何你想要的画面一样。但是，让这些AI画家变得更聪明、更符合人类喜好的训练过程却异常缓慢和昂贵。研究团队发现了一种全新的训练方法，能够让这个过程变得快得多，同时效果还更好。

**一、传统训练方法的困境**

要理解这项突破的重要性，我们先来看看传统方法遇到的问题。目前最先进的AI图像生成模型使用一种叫做"扩散模型"的技术，这就像是一个会魔法的艺术家，能够从一团随机的噪点开始，逐步去除噪音，最终变出清晰美丽的图片。

为了让这个AI艺术家画得更好，研究人员需要不断地训练它。传统的训练方法就像让一个学生反复练习整篇文章的书写，即使只有其中几个字写得不好。更麻烦的是，这种训练方法需要引入随机性，就像让画家在作画时手故意抖动一样，这样虽然能产生多样性，但也让画质变差，训练效率极低。

具体来说，传统的强化学习方法需要在整个图像生成过程中的每一步都进行训练。这就像学习开车时，每次练习都必须从启动引擎开始，经过所有步骤直到停车入库，才能知道这次练习的效果。而且，为了保持训练的随机性，这种方法还必须使用效率较低的随机采样器，就像在画画时故意让手抖动一样，这进一步降低了训练效率。

**二、DGPO方法的核心创新**

研究团队提出的DGPO（直接群体偏好优化）方法彻底改变了这种训练思路。如果把传统方法比作每次都要品尝整道菜才能评判好坏，那么DGPO就像是一个经验丰富的美食家，只需要比较几个关键的味道样本，就能判断出哪道菜更好吃，并且知道如何改进。

DGPO的核心思想是直接学习群体层面的偏好信息。简单来说，就是让AI同时生成多张图片，然后比较这些图片的整体质量，而不是逐个评判每张图片。这就像一个老师批改作文时，不是逐字逐句地纠错，而是通过比较几篇作文的整体水平来指导学生改进。

这种方法的巧妙之处在于，它能够利用群体内部的相对信息。当AI生成一组图片时，研究团队会根据图片质量将它们分为"好的一组"和"差的一组"，然后让AI学习如何增加好图片的生成概率，同时减少差图片的生成概率。这种相对比较的方式比单纯的绝对评分更加准确和高效。

**三、技术实现的巧妙设计**

DGPO方法在技术实现上有几个巧妙的设计。首先，它使用了一种叫做"优势权重"的策略来处理群体内的样本。这就像给每张图片分配一个重要性分数，质量越好或越差的图片得到越高的分数，让AI能够重点关注那些最具代表性的样本。

为了消除数学计算中的复杂项，研究团队设计了一个精巧的权重平衡机制。他们让"好图片组"和"差图片组"的总权重相等，这样就能够消除计算中的复杂常数项，让训练过程变得更加简洁高效。这就像在天平的两端放置等重的砝码，让比较过程变得更加精确。

另一个重要的技术创新是"时间步裁剪策略"。由于在线训练需要不断生成新的图片样本，为了节省计算成本，研究团队使用较少的步数来生成训练样本。但是，直接在这些低质量样本上训练会导致模型性能下降。因此，他们提出只在特定的时间步范围内进行训练，避免模型过度适应低质量样本的特定缺陷。这就像在学习绘画时，不要过分关注草稿的细节问题，而是专注于整体的构图和色彩搭配。

**四、实验结果的惊人表现**

实验结果证明了DGPO方法的卓越性能。在最具挑战性的GenEval基准测试中，DGPO将基础模型的性能从63%提升到了97%，甚至超过了GPT-4o的84%表现。更令人印象深刻的是，DGPO达到这个结果的训练时间比目前最先进的Flow-GRPO方法快了近30倍。

这种性能提升不仅体现在目标任务上，在其他未经过专门训练的评估指标上，DGPO也表现出色。这就像一个学生不仅在数学考试中取得了高分，在物理和化学考试中也有不错的表现，说明他真正掌握了学习方法，而不是死记硬背。

具体来说，在组合图像生成任务中，DGPO在物体计数、空间关系和属性绑定等复杂任务上都表现优异。在视觉文本渲染任务中，DGPO能够准确地在生成的图片中渲染指定的文字。在人类偏好对齐任务中，DGPO生成的图片在视觉质量和文本图像匹配度方面都得到了显著提升。

**五、方法优势的深层原理**

DGPO方法之所以能够取得如此优异的表现，主要得益于三个方面的优势。首先是采样效率的提升。传统方法必须使用随机采样器来维持训练的随机性，但这种采样器生成的图片质量较低。DGPO则可以使用确定性的高效采样器，生成高质量的训练样本，这就像用高清摄像头代替模糊的老式相机，能够捕捉到更多有用的细节信息。

其次是学习效率的改善。传统的强化学习方法依赖于模型无关的高斯噪音来提供探索信号，这在高维图像空间中效率极低。DGPO直接利用群体偏好信息进行优化，避免了低效的随机探索，这就像有了明确的地图和指南针，不需要盲目地四处寻找目标。

最后是训练效率的优化。传统方法需要在整个采样轨迹上进行训练，每次迭代的计算成本很高。DGPO只需要在特定的时间步上进行训练，大大降低了每次迭代的计算开销，这就像从整本书的复习变成了重点章节的复习，效率自然大幅提升。

**六、广泛的应用前景**

这项研究的意义远不止于技术层面的突破。在实际应用中，DGPO方法能够显著降低AI图像生成模型的训练成本，让更多的研究机构和公司能够负担得起高质量模型的开发。这就像从昂贵的手工制作变成了高效的工业化生产，让更多人能够享受到先进技术的便利。

对于普通用户来说，这意味着未来的AI图像生成应用将变得更加智能和贴近人类偏好。无论是社交媒体上的创意图片制作，还是专业设计领域的辅助工具，都将因为这种更高效的训练方法而变得更加实用和可靠。

此外，DGPO方法的通用性使其不仅局限于图像生成，还可能扩展到视频生成、音频合成等其他多媒体生成任务中。研究团队在论文中也提到，这种方法有潜力适应文本到视频的合成任务，这为未来的多媒体AI应用开辟了新的可能性。

说到底，这项研究解决的是AI训练领域的一个根本性问题：如何让机器更高效地学习人类的偏好。通过巧妙的数学设计和工程实现，研究团队找到了一条绕过传统限制的新路径。这不仅是技术上的进步，更是思路上的创新，为整个AI生成领域提供了新的发展方向。

归根结底，当我们看到AI能够越来越好地理解和满足人类的创作需求时，我们实际上在见证一个更加智能的创作时代的到来。而DGPO这样的技术突破，正是推动这个时代到来的重要力量。对于关注AI发展的读者，这项研究展示了技术进步的另一种可能性：不是简单地增加计算资源，而是通过更聪明的方法来解决问题。

Q&A

Q1：DGPO方法比传统的扩散模型训练方法快多少？

A：DGPO比目前最先进的Flow-GRPO方法快了近30倍。在GenEval基准测试中，DGPO能够在更短的训练时间内将模型性能从63%提升到97%，而且整体训练通常比Flow-GRPO快20倍左右。

Q2：DGPO为什么能够实现这么大的速度提升？

A：主要有三个原因：首先，DGPO可以使用高效的确定性采样器而不是低效的随机采样器；其次，它直接学习群体偏好而不需要低效的随机探索；最后，它只在特定时间步进行训练而不是整个采样过程，大大降低了计算成本。

Q3：普通用户什么时候能够体验到DGPO技术的好处？

A：虽然DGPO目前还是研究阶段的技术，但它能显著降低AI图像生成模型的训练成本，这意味着未来AI图像生成应用将变得更智能、更贴近人类偏好，普通用户将在社交媒体、设计工具等应用中体验到更好的图像生成效果。