这项由加州大学圣地亚哥分校哈利乔鲁数据科学与计算学院主导、联合独立研究者共同完成的研究，以预印本形式于2026年6月7日发布，论文编号为arXiv:2606.08481。感兴趣的读者可通过该编号在arXiv上查阅完整论文。

**一项被忽视的真实困境**

假设你所在的银行有一套复杂的内部关系网络，记录着账户之间的转账、贷款担保、人员归属等各种关联。现在你想让AI助手帮你查询："哪些账户在过去三个月内既收到过转账，又发起过担保行为？"这类问题听起来不难，但要让AI正确写出能在你们银行专属数据库上运行的查询语句，却远比大多数人想象的复杂。

这种数据库在技术上叫做"属性图"，查询它的语言叫做Cypher。可以把属性图理解成一张超级详细的关系地图，图上每个节点（比如"账户"、"人"、"公司"）之间用带方向的箭头连接，箭头上还标注着关系类型（比如"转账给"、"拥有"、"担保"）。Cypher就是用来在这张地图上"问路"的语言。

问题在于，每家公司的这张关系地图都长得不一样：它们使用各自独特的节点名称、关系类型、数据字段，甚至有些关系的方向是不能弄反的（"A转账给B"和"B转账给A"是完全不同的意思）。当你想测试某个AI系统能不能正确回答你公司图数据库上的问题时，你需要一套专门针对你这张地图的测试题——而现有的公开测试题集都是针对别人的地图设计的，根本不适用。

**二、为什么不能直接用公开数据集？**

公开的测试数据集就像是一套通用驾照考试题，可以测出考生的基本驾驶能力，但没办法测出他们在你公司那条弯曲山路上的实际表现。一家银行的账户分类体系、一个身份权限系统的节点结构，这些都是私有的、保密的，不可能出现在公开数据集里。

更麻烦的是，这张关系地图还在不断变化。公司推出新产品、接入新数据源、调整业务逻辑，地图就跟着变。一套静态的测试题很快就会过时，就像用一本五年前的地图导航一样不可靠。

然而自己手工制作测试题又极其耗时费力。每道题都必须满足一系列苛刻条件：它得是真实可执行的查询，必须使用图上真实存在的数据，不能泄露敏感信息，还要涵盖各种查询类型和难度，且不能在某类题型上扎堆。这就好比让一个人既要出一套期末考试题，又要保证每道题都有标准答案，还要确保题目类型均衡，难度适中，而且还不能把公司机密信息写进题目里。

正是为了解决这个困境，PIPE-Cypher系统应运而生。

**三、PIPE-Cypher是什么——一条流水线，而非一次性工具**

PIPE-Cypher的核心思路可以用"流水线工厂"来理解。工厂的原料是你公司的图数据库，产出物是一套高质量的测试题集，整个生产过程由七道工序组成，每道工序都有质检环节，不合格品直接剔除。

整个流程从"读懂地图"开始。系统首先对目标图数据库做一次全面的普查，记录下所有节点类型、关系类型、属性字段、方向规则，以及那些取值范围有限的分类字段（比如账户类型只有"储蓄账户"、"信用卡账户"、"商户账户"几种）。这就像在正式出题之前，先把整本教材通读一遍，搞清楚所有知识点。

普查完成后，系统制定生产计划：要覆盖八种查询类别，分别是简单检索、复杂检索、简单聚合、复杂聚合、布尔存在性判断、否定差异查询、路径与时序查询，以及排序与Top-K查询。还要覆盖不同难度级别，保证最终的题库不会只集中在某一类型上。

接下来是最关键的一步，叫做"反向溯源绑定"。这个步骤解决了一个合成测试数据最常见的致命问题：题目看起来合理，但答案在数据库里根本不存在。为了避免这个情况，系统在正式出题之前，先用只读查询去数据库里实际找一找，看看哪些真实存在的数据可以作为题目的"槽位"被填入。只有那些有真实答案的数据值，才会被用进题目里。打个比方，就像出一道填空题之前，先去仓库确认那个答案真的在架子上，而不是凭空捏造一个。

有了这些真实的"槽位数据"之后，系统调用本地AI模型（Qwen3.5-9B）来生成自然语言问题和对应的Cypher查询。这里特意强调"本地"，是因为整个流程从头到尾都不需要把任何数据发送给外部的付费AI接口，所有的生成和评判都在组织自己的计算环境内完成，避免了隐私泄露的风险。

**四、七道质检关卡，不合格一律不放行**

生成出来的候选题目在进入最终题库之前，必须通过一系列严格的质检关卡，就像产品下线前要过安全检测、功能测试和外观检查一样，少一道都不行。

第一关是安全检查：确保生成的Cypher查询不包含任何写入、删除或修改数据的指令。测试题的目的只是查询，绝不能误操作图数据库。

第二关是语法审查：Cypher代码的结构必须符合语法规范，就像检查一篇文章的语句是否通顺一样。

第三关是词汇核对：查询里用到的每一个节点类型名称、关系类型名称、属性字段名，都必须在之前普查到的图数据库地图里真实存在。任何"幻觉"产生的、压根不存在于图上的词汇，都会被拦截。

第四关是方向验证：关系的方向必须与图数据库里实际观测到的方向一致。这一关专门针对图查询的一个特有错误模式——把"A转账给B"的箭头方向写反，语句语法上完全没问题，但查询的是完全相反的语义。

第五关是字面量精确性：当题目涉及具体数值或字符串（比如某个账户ID、某个人名），查询语句里必须使用完全一致的精确值，不允许模糊匹配。

第六关是实际执行：把查询语句真的放到数据库上跑一遍，只有实际返回了结果的查询才算通过。那些语法正确、逻辑看似合理但结果集为空的查询，会被标记并记录原因，不会进入最终题库。

第七关是AI裁判评审：用同一个本地AI模型扮演"裁判"的角色，审查那些通过了前六关的候选题目，看看问题表述是否清晰无歧义，Cypher的语义是否真的对应了问题的意图，题目是否对企业场景有实际价值。这个裁判非常保守，倾向于拒绝而非放行——宁可漏掉一些勉强合格的题目，也不放过任何有问题的题目。

所有被拒绝的候选题目都会被记录在"废品台账"里，附上被拒的具体原因，方便后续审计和改进。

**五、在三个真实图数据库上的大规模测试**

为了验证整套流程是否真的可靠，研究团队在三个公开可用的企业级图数据库上进行了测试，这样既保证了实验的可重复性，又体现了真实企业场景的复杂度。

第一个是LDBC FinBench，一个模拟金融场景的图数据库，包含账户、人员、公司、贷款、介质等五种节点，以及转账、拥有账户、申请贷款、担保等九种关系，共约一万个节点和近六万条关系。第二个是LDBC SNB，模拟社交网络场景，有14种节点类型（包括人、论坛、消息、帖子、评论、标签、地点、组织等）和15种关系类型，规模更大，有三万四千多个节点和七万多条关系。

在这两个数据库上，系统共生成了4925个候选题目，最终通过所有质检关卡并被接受的有3000道，接受率约为61%。其中FinBench贡献2000道，SNB贡献1000道，八种查询类别各占均等比例，容易和中等难度大致各占一半。

被拒绝的1925道候选题目里，最多的拒绝原因是多样性控制和重复性筛查（占被拒总数的71%），其次是实际执行后结果集为空（占25.2%），AI裁判语义审查不通过的占3.5%，执行报错的只有0.2%，模式词汇非法的仅有0.1%。这个分布很有意思：系统真正被"图数据库专有规则"拦下的其实不多，大量的拒绝来自多样性管控——也就是说，AI生成的很多题目从质量上没有问题，但太相似了，题库不需要那么多重复结构的题目。

第三个测试数据库是ICIJ Offshore Leaks（国际调查记者同盟离岸泄露数据库），这是一个真实的公开金融合规数据集，规模远大于前两个，包含超过200万个节点和330万条关系，涵盖官员、中间人、实体、地址等五种节点类型和14种关系类型。在这个从未预先设计过任何查询模板的"陌生"数据库上，系统同样跑通了全部流程，从983个候选题目中接受了800道，八个类别全部达到目标数量。这证明了整套流程的通用性——不需要为每个新数据库重新定制规则，系统能自动从图结构推导出适用的查询模板。

**六、实验结果揭示了什么——好题库应该让模型"原形毕露"**

一套好的测试题集有一个反直觉的评价标准：它不应该让被测的AI系统轻松得高分。如果所有模型都能轻易答对，题目就没有区分价值了。

研究团队用这套3000道题对11个本地AI模型进行了测试，结果非常能说明问题。在零样本条件下（就是直接给模型看题，什么例子都不提供），11个模型的平均执行准确率只有3.6%，最好的也只有20.3%。就连这套题的生成者Qwen3.5-9B本身，在零样本下的精确执行准确率也只有18.9%——尽管它的语法合规率高达96.3%，模式词汇合规率也有91.6%。换句话说，AI生成的Cypher查询大多数"看起来像那么回事"，也能真的运行，但返回的结果根本不是问题问的那个东西。

这正是这套题库有价值的地方：它不只检查语法，而是检查语义——你的查询是不是真的回答了问题？

当研究者给模型提供一些来自同一图数据库的例题作为参考（即少样本条件）时，情况有所改善，但改善程度因模型而异。三个模型家族——Qwen系列、Qwen-Coder系列，以及一个基于Gemma-2-9B微调的Text2Cypher模型——在有例题参考时准确率大幅提升，最高能达到99%。但另外八个模型，包括多个专门为Cypher任务微调过的公开模型，无论给不给例题，准确率都是0。这说明即使是专门训练过的模型，在面对一个新的、特定企业的图数据库时，也可能完全失效。

研究者特别区分了两种少样本条件。一种是"同类别例题"，即给模型看和测试题属于同一查询类型的例子，这类条件的准确率能达到26.9%，但由于例题和测试题往往共享相同的查询结构模板，存在一定的"作弊"嫌疑；另一种是"无签名例题"，即过滤掉那些与测试题结构完全相同的例题后再测，准确率为20.0%，这才是更真实的"图数据库特定知识"的迁移效果。

**七、多样性审计——题库质量不只是数量均衡**

研究者并不满足于只检查每种类别的题目数量是否均等，他们还设计了一套多维度的多样性评分体系，就像给一个城市的饮食文化打分，不只看有没有中餐、西餐、日料，还要看每种菜系里有没有足够多的不同菜品，有没有不同价位的选择，有没有大众口味和特色小馆。

这套评分体系综合考量了词汇多样性（不同题目用词是否重复）、查询模板多样性（不同题目的Cypher结构是否雷同）、结构覆盖率（题库覆盖了多少种不同的Cypher操作子结构）、模式覆盖率（题库涉及到图上多少种节点和关系类型）、数值多样性（不同题目使用的图上实体值是否有足够多样）以及类别与难度的均衡性。

诚实地说，这套题库在词汇多样性和查询签名多样性上得分相对较低——因为很多题目是从同一批经过验证的查询模板延伸来的，结构上难免相似。但研究者把这个弱点直接呈现出来，而不是藏起来，并提出了对应的改进路径：使用一种叫做"最大边际相关性"的算法，从通过质检的题库里挑选出结构更加多样化的子集。经过这种筛选，结构覆盖的子结构种类从97种提升到134种，查询签名多样性从6.2%提升到13.5%，词汇多样性也有明显提升。

此外，研究者还将题目按照实际的Cypher操作策略重新分类，而不只是按照业务类别分类。结果发现，聚合类查询占了题库的37.5%，而连接密集型、否定型、排序型、路径型、单跳型各占12.5%。在后续的模型测试中，这些策略类别的表现差异极大：AI模型在聚合和单跳查询上相对较好，但在连接、否定、路径和排序类查询上几乎完全失败。

**八、隐私保护和可重复刷新**

研究团队在设计这套流程时，把隐私保护当作核心要求而不是附加功能。所有的生成、验证和评审工作都在本地完成，不向任何外部API发送数据。对于需要分发给更广泛内部审核者的导出版本，系统会用稳定的占位符替换掉所有出现在问题、查询和结果样本里的具体数值——比如把一个真实的公司实体名替换成"ENTITY_VALUE_1"，把地区名换成"JURISDICTION_VALUE_1"。

研究者对这套脱敏处理做了严格的量化审计：在3000道题目中，共检测了10956个敏感值，有2970道题目包含敏感值，脱敏处理后残留的原始值数量为零，残留率为0.000。这意味着题库的脱敏版本可以安全地发送给不具备完整数据权限的内部审核人员进行质量检查，而不用担心泄露原始数据。

可重复刷新是另一个重要设计目标。每道被接受的题目都记录了它是在哪个图数据库快照版本、用哪个AI模型、在哪次运行中生成的，通过了哪些质检关卡，执行时返回了什么样的结果样本。有了这些元数据，当图数据库结构发生变化时，系统可以精确识别出哪些题目需要重新生成，哪些题目依然有效，从而实现高效的"按需刷新"，而不是每次都从头生成全部题目。

**九、人工标注校准实验**

在这套完全自动化的流程里，人工究竟扮演什么角色？研究团队的回答是：不参与生成，但参与校准。

具体做法是：在所有的生成和自动质检完成之后，从已接受和已拒绝的候选题目中随机抽取80道，请一名外部人工标注员独立判断每道题是否应该被接受。标注的标准是：问题表述清晰、Cypher只读、遵守图数据库模式、关系方向合理、引用值精确、语义与问题一致。

标注结果表明，自动裁判和人工判断的一致率为80%，Cohen's κ（衡量一致性的统计指标，考虑了随机一致的部分）为0.60，属于"实质性一致"的水平。更关键的是，自动裁判的精确率（它判为通过的题，真的应该通过的比例）为100%，即在这80道样本里没有出现任何"错放"的情况；召回率（所有应该通过的题，它判为通过的比例）为71.4%，意味着它漏掉了约28.6%本可以接受的题目。

这个结果揭示了自动裁判的特性：非常保守，宁可错杀，不肯放过。这对于题库建设来说是合适的选择——少收几道题没关系，但不能让低质量题目混进去。人工标注的作用是量化这种保守性，而不是替代自动裁判。

归根结底，PIPE-Cypher做的这件事看似不起眼，却填补了一个真实存在的空白地带。AI做图数据库查询的能力，不能靠公开数据集上的成绩来代替，因为每家企业的图都是独一无二的。而手工制作测试题既耗时又容易过时，且难以做到系统性和可重复。这套流程把"给自己的图数据库出一套好题"这件事，从一项需要大量人力的工程任务，变成了一个可以周期性自动运转的标准化流程。

它没有解决所有问题——题库的查询结构仍有一定的模板集中性，人工校准只用了一位标注员且样本量有限，三个测试用的公开数据库也终究不等同于真实的私有企业部署场景。但这些局限被研究者坦诚地写在了论文里，而不是被掩盖。

对于那些正在评估、部署或开发图数据库AI查询系统的组织来说，这套工具提供了一个严肃的起点：先把自己的测试题出好，再谈模型选型。毕竟，你永远不可能通过一张别人的地图来测试司机对你家门口那条路的熟悉程度。感兴趣的读者可通过arXiv编号2606.08481找到完整的技术报告，以及开源代码和公开数据集的获取方式。

Q&A

Q1：PIPE-Cypher生成的测试题为什么不能直接用公开数据集替代？

A：公开数据集针对的是通用图结构，而每家企业的图数据库有自己独特的节点名称、关系类型、字段定义和方向规则。一个模型在公开数据集上的得分，无法反映它在特定企业图上的实际表现。PIPE-Cypher直接从企业自己的图数据库里提取真实数据和结构，生成的题目天然与该企业的图对齐，且所有题目都经过实际执行验证，保证答案真实存在。

Q2：PIPE-Cypher怎么保证生成的题目不泄露公司敏感数据？

A：整个生成和评判过程全部在本地计算环境内完成，不向任何外部API发送数据。在需要对外分发的导出版本中，系统会将所有出现在题目、查询和结果样本中的具体数值替换为稳定的占位符。研究者对此做了量化审计，在3000道题目中检测了近11000个敏感值，脱敏后残留率为零。

Q3：11个模型在PIPE-Cypher题库上的零样本准确率为什么那么低？

A：低准确率恰恰说明这套题库的测试价值高。很多模型生成的Cypher语法正确，也能真的运行，但回答的根本不是题目问的那个问题——方向弄反、用错关系类型、聚合逻辑有误等。仅靠语法检查发现不了这类错误，但PIPE-Cypher用实际执行结果来打分，把这些"看起来对但答错了"的情况全部暴露出来。