这项由伊利诺伊大学香槟分校、清华大学与北京大学联合完成的研究，以预印本形式发布于2026年5月，论文编号为arXiv:2605.30611，有兴趣深入了解的读者可以通过这一编号查询完整论文。

每个做过科研的人大概都有过这样的经历：论文的方法已经想清楚了，实验数据也跑完了，但一张能清晰展示研究框架的配图，却可能需要耗费好几个小时甚至一整天。你得在PowerPoint或Illustrator里一个框一个箭头地拼，字体要对齐，颜色要协调，图标要找素材，改一次布局整张图可能要推倒重来。对于全球数以百万计的研究人员来说，这几乎是一道绕不开的"美工关"。

于是一个很自然的问题出现了：AI能帮我们画这些图吗？现在的图像生成模型已经能画出以假乱真的风景和人像，能不能也画出论文里的那种架构图、流程图、学术海报？

研究团队给出了他们的答案，同时也诚实地点出了问题所在：现有的AI绘图工具要么只能接受文字输入，要么只能生成固定类型的图，输出的图片还是静态的位图，想改一个标签或者调整一下布局，只能重新生成。更核心的问题是，这些工具面对结构复杂的科研图示时，往往一次生成就能暴露出各种局部错误——标注乱码、箭头对不上、模块缺失——而单纯"重试"换来的是另一堆不同位置的错误，并不能真正修正问题。

为了系统性地解决这些困难，研究团队构建了一套名为CRAFTER的多智能体框架，以及配套的SVG可编辑转换工具CRAFTEDITOR，并专门设计了一个覆盖三种图形类型、四种输入方式的评测基准CRAFTBENCH。整个系统的核心思路，不是打造一个更强的"画图引擎"，而是在现有引擎外面套上一层精巧的"调度框架"——就像一个有经验的导演，统筹安排编剧、摄影、剪辑各司其职，而不是试图让一个人完成所有工作。

一、为什么科研配图这么难画，AI又卡在哪里

科研论文里的配图和普通图片有一个根本区别：它是由许多离散的语义部件组成的结构化整体。一张典型的方法架构图，可能包含十几个命名模块、若干带标签的箭头、几个颜色分区，以及精确的空间位置关系。每一个部件都承载着明确的含义，任何一个部件出错——比如一个标签写成乱码、一条箭头指向错误的模块——都会让整张图失去准确性。

现有的图像生成模型在面对这类图时，暴露出一个显著的弱点：它们的输出具有很高的"随机性"。同一段文字描述，多次生成会产生布局截然不同的图，而且几乎每次生成都会在不同位置出现不同的局部错误。更糟糕的是，如果你把每次出错的地方用文字描述出来让模型再改，往往会出现新的矛盾：一会儿说"把标题放大"，一会儿又说"减少空白"，这两条指令叠加在一起，模型并不能智能地权衡，而是把所有文字指令都堆到一起，导致描述越来越混乱，生成质量反而越来越差。

研究团队把这个问题比作"没有记忆的修改"。每次给AI加一条修改意见，它并不会更新一个结构化的内部理解，而只是在原来的文字堆上再加一段话。积累几轮之后，这堆文字就会充满内在矛盾，模型陷入混乱。

除此之外，现有系统还有两个明显短板：第一，它们几乎都只接受文字输入，而现实中研究者经常是从一张草图、一个参考图、或者一组已有图标出发来设计新图；第二，生成的图片是位图格式，无法在本地进行元素级别的修改——你不能只改掉一个模块的标签，也不能只调整某一行的颜色。

二、调度框架：不造更强的引擎，而是配一套更聪明的驾驶舱

CRAFTER的核心设计思路，研究团队称之为"harness"，翻译成中文大约是"调度套具"的意思。这个词来自马车驾驭中的"马具"——马具本身不产生动力，但它精确地控制着马的力量如何转化为车轮的前进方向。同样，CRAFTER不改动底层的图像生成模型，而是在它外面套上一套精确的调度机制，让生成的每一步都有目标、有反馈、有记忆。

整个框架由五个相互协作的"智能体"组成，它们共同维护一份不断更新的"图形规格说明书"。这份说明书不是一段普通的文字，而是一个结构化的文档，记录着当前图的布局方案、颜色方案、应该包含的元素、已知的问题约束、以及之前几轮修改留下的类型化编辑记录。

第一个智能体叫"意图推理器"，负责在接收到用户的输入（可以是文字、草图、参考图或部分元素）之后，理解这张图想传达的核心含义和所需的视觉元素，生成最初版本的说明书。可以把它理解为一个善于倾听的项目经理，负责把客户模糊的需求转化为清晰的设计简报。

第二个智能体是"方案生成器"，它读取说明书，提出若干个不同的视觉方案——比如横幅布局、多列网格、步骤编号序列等等。多个方案会被同时送入底层图像生成引擎，各自生成一张候选图。这一步的关键在于：不同的方案代表着不同的结构性选择，一旦在这一步选到了一个根本不适合的布局，后续的所有修改都无法弥补这个先天缺陷。所以在最开始就探索多种可能性，是避免"在错误方向上精雕细琢"的关键。

第三个智能体是"批评员"，它对每张候选图进行评估，但给出的不是一个数字分数，而是一份详细的诊断报告：哪些维度表现良好，哪些地方存在具体问题，以及应该如何修正。这份报告有六个评估维度，包括内容准确性、布局一致性、文字可读性、角色符合度、美学质量和伪像严重程度。批评员的输出越具体、越有针对性，后续的修改就越有方向感，而不是盲目地重新生成。

第四个智能体是"说明书修改员"，它把批评员给出的诊断转化为对说明书的"类型化编辑"——不是在说明书末尾追加一段话，而是直接修改说明书中对应的字段，比如在布局约束里加一条"标题区域不得小于图像宽度的80%"，或者把某类伪像标记为"禁止出现"。这就确保了每次修改都精准地作用于问题所在，而不会与之前的描述产生矛盾。

第五个智能体是"收敛判断器"，负责决定当前轮次的图是接受、继续修改，还是退回到历史最优版本。整个修改循环最多进行三轮，每轮结束时都保存当前最优结果，一旦某轮修改反而让图变差了，系统会自动回退到上一个更好的版本。这一点很重要，因为AI驱动的迭代修改并不总是单调递进的，有时候修改会"修坏"，需要一个安全网来兜底。

三、从草图、图标、遮罩到文字：四种不同的出发点

CRAFTER的另一个突出特点是它能处理多种不同类型的输入，而不仅仅是文字描述。研究团队把这归结为CRAFTER框架的灵活性：所有任务特定的行为都藏在智能体的提示词里，框架本身的结构不需要改变，只需要在指令层面适配不同的输入形式。

最常见的情形是纯文字输入：给出论文某一节的文字描述，让系统生成对应的架构图或方法示意图。这对应着大多数现有系统所覆盖的场景。

第二种是"遮罩补全"：用户已经有了一张基本成型的图，但其中某个区域被遮住或者留白，需要AI来补全这个空缺的部分。这很像你在玩拼图时少了几块，需要根据周围的图案判断缺失的那块应该长什么样。

第三种是"关键元素组合"：用户提供了一些已经准备好的图标或视觉元素，但还没有把它们组合成完整的图，需要AI根据这些元素设计出完整的布局和结构。这就像你有了所有的食材，但需要一个食谱告诉你怎么把它们做成一道菜。

第四种是"草图条件生成"：用户画了一张粗糙的布局草图（可以是手绘的、也可以是用线框工具画的），需要AI在保持这个布局框架的前提下，把它"精修"成一张可以放进论文的高质量图。这里的挑战在于，AI要忠实于草图的结构逻辑，同时又要让输出看起来足够专业，而不是单纯临摹一遍草图。

四、把静态位图变成可以编辑的矢量图

生成了高质量的图之后，研究团队面临下一个问题：这张图是位图，无法在本地修改单个元素。如果你想把某个模块的标签从英文改成中文，或者把整个配色方案换掉，你只能重新生成。这对于需要频繁微调的研究工作流来说，几乎等于白忙一场。

CRAFTEDITOR就是为了解决这个问题而设计的。它的任务是把一张生成好的位图，转换成一个结构清晰、可以逐元素编辑的SVG格式文件（SVG是一种矢量图格式，其中每个图形元素都是独立的、可以单独修改的）。同样，它复用了CRAFTER的调度框架，只是把执行对象从"图像生成"换成了"SVG代码生成"。

整个转换过程分三个阶段进行。第一阶段叫做"提取"：一个视觉理解智能体检查输入的位图，制定一份"保留/删除"计划，指定哪些视觉元素需要保留、哪些背景噪声和文字叠加层需要清除。一个可以接受指令的图像编辑器执行这个计划，得到一张干净的画布。批评智能体检查清理结果，如果还有残余的干扰元素，就再来一轮，最多进行三轮。这一步解决了传统图像分割方法在复杂科研图（尤其是会议海报，可能有25到50个视觉元素）上容易失败的问题——传统分割很难区分哪些是语义相关的元素、哪些是背景装饰。

第二阶段叫做"处理"：对从干净画布上裁出的每个元素进行描述和分类，判断它应该以矢量方式还是位图方式嵌入SVG，并为每个元素打上坐标标注。

第三阶段叫做"合成"：先由语言模型生成两个不同参数下的SVG骨架草案，选出较好的那个，然后把第二阶段处理好的元素填入对应的位置。之后，一个"混合批评员"对生成的SVG进行评估——这个批评员不只是用AI来看图，还额外运行了一组程序化检查器，专门检测文字溢出、箭头端点对齐、元素重叠、缺失组件等问题，因为这些细节性的结构问题往往是视觉AI看不出来但影响实际使用的关键缺陷。修改循环最多运行四轮，同样配备了最优结果保存和回退机制。

五、专门为这项任务设计的评测基准

在测试CRAFTER之前，研究团队发现了一个尴尬的现实：现有的评测基准都太窄了。它们几乎清一色只测试"给一段文字，生成一张学术方法图"这一种场景，根本无法评估一个系统在不同图形类型和不同输入条件下的表现。

于是研究团队专门构建了CRAFTBENCH，一个包含279个样本的评测集。这些样本来自五个18个学科领域的arXiv预印本论文、CVPR会议的高亮和获奖海报、ICLR会议的口头报告和Spotlight海报，以及Lilian Weng博客上的深度科普文章。每个样本都经过了七道质量关卡的过滤，包括内容分类、复杂度评分、图文对齐验证等，最终由人工从553个候选样本中筛选到279个。

在279个样本中，大约三分之二是纯文字到图像的生成任务，其余三分之一分别对应遮罩补全、关键元素组合和草图条件生成这三种参考输入任务。图形类型方面，学术配图占140个，会议海报占109个，信息图占30个。每个参考输入类型的样本都由三名研究生级别的标注员独立审核，只有三人一致通过才会入库，有争议的样本会反复修改直到达成共识。

评测方式采用"以AI作为评判者"的方案，用Gemini模型来分别对生成图和人类绘制的参考图打分，然后比较两者的分差来判断胜负。每张图都按照任务类型的不同从若干维度打分，内容准确性和输入忠实度权重最高，可读性和格式权重较低。当生成图的总分超过参考图超过0.3分时判为"模型胜"，低于0.3分判为"人类胜"，差距在0.3以内判平局。整体得分是三种结果对应100分、50分、0分的平均值。

研究团队还专门对这套自动评测做了人工验证：三名标注员对60个案例进行了盲测两两比较，结果显示自动评测与人工判断的一致率为72%，Cohen's Kappa系数为0.58，达到了中等偏上的一致性水平。

六、实验结果：框架的价值在哪里

实验结果的主要数字来自两个基准测试。在覆盖学术方法图的PaperBanana-Bench上，CRAFTER以50.34分的总分领先第二名约16.61分；在更宽泛的CRAFTBENCH上，CRAFTER以约50分的总分领先第二名约22.20分。无论使用哪个底层图像生成引擎（Nano Banana 2或Nano Banana Pro），CRAFTER都在所有任务类型和所有质量维度上超过了其他方法。

一个有意思的对比是另一个流行的智能体框架PaperBanana：它在专门针对学术方法图的基准上表现不错，比自己的底层引擎提升了约22.60分；但一旦扩展到CRAFTBENCH的更广泛场景，提升幅度急剧缩水到8.10分，而且在草图任务上甚至还不如直接使用底层引擎。这印证了研究团队在论文开头指出的核心问题：一个针对单一场景优化的系统，并不能良好地迁移到其他场景。

值得注意的是，换用更强的底层引擎（从Nano Banana 2换到Nano Banana Pro）对CRAFTER的总分影响相当有限：PaperBanana-Bench上只差了0.34分，CRAFTBENCH上也只差了2.10分，而且两个引擎各有胜负。这说明CRAFTER的价值主要来自调度框架本身，而不是依赖某个特定引擎的优势——这也意味着未来出现了更强的图像生成引擎，直接换上去就好，框架不需要修改。

研究团队还逐一测试了去掉每个机制的影响。去掉多方案探索（固定只生成一个方案）导致总分下降8.56分，可读性维度损失最大，因为一旦在最开始选了错误的布局框架，后续所有修改都无法逃脱这个先天限制。去掉结构化说明书（改回纯文字修改指令的叠加）导致总分下降8.90分，这是单个机制去除中最大的损失，直接验证了"自由文本积累会导致矛盾叠加"的假设。去掉修改循环导致下降5.48分，去掉指令性批评员（改为仅输出数字评分）导致下降5.04分。四个机制每一个都有独立的、不可替代的贡献。

在CRAFTEDITOR的评测中，研究团队选取了80个CRAFTER生成的图作为输入，与另外两个同类系统（Edit-Banana和AutoFigure-Edit）比较转换质量。CRAFTEDITOR在位置、颜色、文字、图标、箭头、风格和整体评分七个维度上全面领先，整体分数8.04分对比AutoFigure-Edit的6.91分和Edit-Banana的3.69分。其中箭头端点和文字标注两个维度的优势最为显著，正是程序化检查器发挥关键作用的地方。

七、这套系统做不好的事，研究团队自己说了

在论文的最后，研究团队也诚实地展示了CRAFTER失败的案例，并分析了每种失败的原因。

第一类失败叫"面板丢失"：当输入描述包含"(a)、(b)、(c)三个子图"时，意图推理器有时会把三个子图合并成一个，这个错误发生在最开始的理解阶段，进入说明书之后就再也无法被后续的修改循环恢复。修复方向是在意图推理阶段加一个子图数量的显式核查。

第二类失败叫"填充不匹配"：在遮罩补全任务中，CRAFTER有时会用与原图风格格格不入的方式来填补空白区域，破坏了整张图的视觉连贯性。这主要是底层生成引擎和批评员都没有专门检测"填充区域与周围内容的边界连贯性"。

第三类失败叫"字面骨架"：在草图条件生成任务中，CRAFTER有时会忠实地复现草图的抽象布局，却忘了加入让图真正有说服力的具体内容——比如一张实际案例照片、或者一个完整的演示例子。草图的结构被还原了，但草图背后的表达意图没有被理解。

这三个失败模式都有清晰的改进方向，研究团队把它们作为未来工作的切入点。

整体而言，CRAFTER把科研配图的生成问题重新定义为一个"调度与校正"问题，而非单纯的"生成质量"问题。当一个系统能够在多个候选方案中挑选最佳起点、用结构化记忆追踪每一次修改的意图、用有针对性的诊断驱动下一轮改进，并在改坏的时候自动退回到更好的结果，那么即使底层的图像引擎能力有限，整体输出质量也会大幅提升。

说到底，这套系统给出的启示是：在AI生成领域，单纯堆砌更大的模型并不总是最有效的路径。有时候，在现有引擎之外加一层精心设计的调度逻辑，反而能带来更稳定、更实用的提升。对于研究者来说，一个能处理草图、图标、遮罩等多种输入、能自动迭代修正、还能输出可编辑SVG的工具，或许真的能把那几个小时的"美工时间"省下来用于更有价值的工作。当然，系统目前依赖昂贵的闭源API，每张图的生成成本在0.25到0.85美元之间，对于大批量生成来说还是一笔不小的开销。CRAFTBENCH本身只有279个样本，信息图的覆盖也相对薄弱，这些都是后续需要完善的地方。如果你对技术细节感兴趣，可以通过arXiv编号2605.30611找到完整论文，代码和数据集也已在GitHub上开源。

Q&A

Q1：CRAFTER框架和直接用图像生成模型生成科研配图有什么本质区别？

A：直接用图像生成模型只能得到一次性的输出，出错了只能重新生成，而且用文字反复修改会导致指令越来越矛盾。CRAFTER的区别在于它在生成引擎外套了一层调度框架：多个方案同时探索，批评员给出具体诊断而不是模糊评分，所有修改写入结构化说明书而不是堆成文字，还有自动回退机制保证质量不退步。

Q2：CRAFTEDITOR生成的SVG文件能在什么软件里打开和编辑？

A：SVG是通用矢量图格式，可以用Illustrator、Inkscape、Figma等主流设计软件打开，也可以直接用代码编辑器修改其中的文字、颜色和位置属性。CRAFTEDITOR的目标是把位图里每个视觉元素都转化为SVG中独立可操作的节点，让研究者可以直接修改单个标签或调整局部布局，而不需要重新生成整张图。

Q3：CRAFTBENCH评测集和之前的科研配图评测集相比多了什么？

A：之前的评测集几乎只测一种场景：给文字描述生成学术方法图。CRAFTBENCH增加了三种参考输入任务（遮罩补全、关键元素组合、草图条件生成），覆盖了学术图、会议海报、信息图三种图形类型，样本来源涵盖18个学科领域，每个样本还经过了七道自动质量过滤加三人一致审核，是目前覆盖最宽的科研配图评测集。