大语言模型Prompt工程之使用GPT4生成图数据库Cypher_prompt的图数据库检索

Here’s the table of contents:

大语言模型Prompt工程之使用GPT4生成图数据库Cypher

    使用GPT4测试了生成Cypher的能力，没想到大型语言模型（LLM,Large Language Model）效果能好成这样，非常惊艳！

    之前的文章中介绍了，使图数据库快速搭建一个可配置图谱问答系统的功能。其中Cypher的解析、组合生成和意图识别等能力是依赖于规则的配置，基于配置模块可以灵活实现问答系统的运转。

1. 基于知识图谱的问答机器人
2. 图谱问答：案例快速开始指南
3. 图谱问答：自定义组装问答系统进阶指南

    基于规则的方法，最大的缺点是泛化能力比较差，带来的问题是后续维护会有不小的工作量。但是在某些模型不能很好解决的场景下，基于规则的方法还是可以发挥不小的价值。模型+规则可以让系统运行的更加高效和准确（LLM Prompt工程涉及规则的方法）。为了让系统生成Cypher的能力更强，本文尝试了GPT4的能力。

    通过测试发现，设计合适的Prompt工程以后，GPT4生成Cypher非常棒，简单查询和复杂查询都可以自动生成且不存在语法错误（没有发现）。

    Prompt中会传入一些样例问题和Cypher，模型通过样例问题和Cypher就能学会该类的问题和Cypher模式，并应用在同类不同参数的查询上（其中一些参数模型也能推理后自动生成）。所以需要提前生成和设计一些问答对的数据，并保存形成Prompt库进行动态调用。当一个提问不存在类似的Example时，模型不会生成Cypher或生成一个不存在的Cypher（图数据库中模式不存在不会影响最终结果，因为结果为空），这类可以视为图谱回答不了的问题。下面可以看一下，一些LLM Generate Cypher | 使用大语言模型生成Cypher测试结果：

• Prompt函数定义

examples()中定义了样例问答对，ask为传入的问题。

def prompt(ask):
    return f"""
        您是一名助手，能够根据示例Cypher查询生成Cypher查询。
        示例Cypher查询有：\n {examples()} \n
        除了Cypher查询之外，不要回复任何解释或任何其他信息。
        您永远不要为你的不准确回复感到抱歉，并严格根据提供的cypher示例生成cypher语句。
        不要提供任何无法从Cypher示例中推断出的Cypher语句。
        当由于缺少对话上下文而无法推断密码语句时，通知用户，并说明缺少的上下文是什么。
        现在请为这个查询生成Cypher:
        # {ask}
        """
1
2
3
4
5
6
7
8
9
10
11

• Cypher生成结果

    以下是一些测试结果已经在数据集上测试过没有问题，作者也尝试过其它数据集的生成效果，结果也都很不错。

• 样例数据

# GPT-4 Test Result:
# QA:你好（正确生成）
# RE:请提供您希望查询的信息，以便我为您生成相应的Cypher查询语句。如果可以，请提供与示例Cypher查询相似的信息和要求。

# QA:最近半导体上涨的原因是什么？（正确生成）
# RE:您好，根据提供的Cypher示例，我无法为您生成关于 "最近半导体上涨的原因是什么" 的Cypher查询。请提供与您需求相关的Cypher查询示例以便我为您提供有效的查询语句。

# QA:海南有哪些上市公司？（正确生成）
# RE:
#   MATCH p0=(n0:股票)-[r0:地域]->(n1:地域) WHERE n1.value='海南'
#   RETURN DISTINCT n0 AS n4 LIMIT 10

# QA:电气设备行业有多少家上市公司？（正确生成）
# RE:
#   MATCH p0=(n0:股票)-[r0:所属行业]->(n1:行业)
#   WHERE n1.value='电气设备'
#   RETURN COUNT(DISTINCT n0) AS n4

# QA:水泥行业博士学历的男性高管有多少位？（正确生成）
# RE:
#   MATCH
#       p0=(n1:行业)<-[r0:所属行业]-(n0:股票)<-[r1:任职于]-(n2:高管)-[r2:性别]->(n3:性别)-[r4:别名]->(n5:性别_别名),
#       p1=(n2)-[r3:学历]->(n4:学历)
#   WHERE n1.value='水泥' AND n5.value='男性' AND n4.value='博士'
#   RETURN COUNT(DISTINCT n2) AS n3

# QA:在北京由硕士学历的女性高管任职的上市公司，都属于哪些行业？
# RE:
#   MATCH
#       p1=(n1:地域)<-[:地域]-(n2:股票)<-[:任职于]-(n3:高管)-[:性别]->(n4:性别),
#       p2=(n3)-[:学历]->(n5:学历),
#       p3=(n2)-[:所属行业]->(n6:行业)
#   WHERE n1.value='北京' AND n5.value='硕士' AND n4.value='F'
#   RETURN DISTINCT n6.value AS hy
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

• 完整代码

# Reference:https://medium.com/neo4j/context-aware-knowledge-graph-chatbot-with-gpt-4-and-neo4j-d3a99e8ae21e
import requests


# 使用HTTP封装的GPT-4接口，请根据具体接口情况替换
def gpt4(msg):
    # 设置请求头

    headers = {"Content-type": "application/json"}
    url = 'http://localhost:8080/cgpt-api/gpt4_question'
    data = {
        "ask_str": msg,
    }

    response = requests.post(url, json=data, headers=headers)
    return response.json()['data']['content']


# 从下面graph-qabot-demo可配置知识图谱问答项目中获取原始样例查询，然后将ID（ID为配置系统为Cypher生成）替换为具体的字段属性过滤，生成examples
# https://github.com/ongdb-contrib/graph-qabot
# https://github.com/ongdb-contrib/graph-qabot-demo
def examples():
    return '''
            # 火力发电行业博士学历的男性高管有多少位？
            MATCH 
                p0=(n1:行业)<-[r0:所属行业]-(n0:股票)<-[r1:任职于]-(n2:高管)-[r2:性别]->(n3:性别)-[r4:别名]->(n5:性别_别名),
                p1=(n2)-[r3:学历]->(n4:学历) 
            WHERE n1.value='火力发电' AND n5.value='男性' AND n4.value='博士'
            RETURN COUNT(DISTINCT n2) AS n3

            # 山西都有哪些上市公司？
            MATCH p0=(n0:股票)-[r0:地域]->(n1:地域) WHERE n1.value='山西' 
            RETURN DISTINCT n0 AS n4 LIMIT 10

            # 富奥股份的高管都是什么学历？
            MATCH p0=(n1:股票名称)<-[r0:股票名称]-(n0:股票)<-[r1:任职于]-(n2:高管)-[r2:学历]->(n3:学历) 
            WHERE n1.value='富奥股份'
            RETURN DISTINCT n3 AS n2 LIMIT 10

            # 中国宝安属于什么行业？
            MATCH p0=(n1:股票名称)<-[r0:股票名称]-(n0:股票)-[r1:所属行业]->(n2:行业) 
            WHERE n1.value='中国宝安'
            RETURN DISTINCT n2 AS n5 LIMIT 10

            # 建筑工程行业有多少家上市公司？
            MATCH p0=(n0:股票)-[r0:所属行业]->(n1:行业) 
            WHERE n1.value='建筑工程'
            RETURN COUNT(DISTINCT n0) AS n4

            # 刘卫国是哪个公司的高管？
            MATCH p0=(n0:股票)<-[r0:任职于]-(n1:高管) 
            WHERE n1.value='刘卫国'
            RETURN DISTINCT n0 AS n4 LIMIT 10

            # 美丽生态上市时间是什么时候？
            MATCH p0=(n1:股票名称)<-[r0:股票名称]-(n0:股票)-[r1:上市日期]->(n2:上市日期) 
            WHERE n1.value='美丽生态'
            RETURN DISTINCT n2 AS n1 LIMIT 10

            # 山西的上市公司有多少家？
            MATCH p0=(n0:股票)-[r0:地域]->(n1:地域) 
            WHERE n1.value='山西'
            RETURN COUNT(DISTINCT n0) AS n4

            # 博士学历的高管都有哪些？
            MATCH p0=(n0:高管)-[r0:学历]->(n1:学历) 
            WHERE n1.value='博士' 
            RETURN DISTINCT n0 AS n3 LIMIT 10

            # 上市公司是博士学历的高管有多少个？
            MATCH p0=(n0:高管)-[r0:学历]->(n1:学历) 
            WHERE n1.value='博士'
            RETURN COUNT(DISTINCT n0) AS n3

            # 刘卫国是什么学历？
            MATCH p0=(n0:高管)-[r0:学历]->(n1:学历) 
            WHERE n0.value='刘卫国'
            RETURN DISTINCT n1 AS n2 LIMIT 10

            # 富奥股份的男性高管有多少个？
            MATCH p0=(n1:股票名称)<-[r0:股票名称]-(n0:股票)<-[r1:任职于]-(n2:高管)-[r2:性别]->(n3:性别)-[r3:别名]->(n4:性别_别名) 
            WHERE n1.value='富奥股份' AND n4.value='男性'
            RETURN COUNT(DISTINCT n2) AS n3

            # 同在火力发电行业的上市公司有哪些？
            MATCH p0=(n0:股票)-[r0:所属行业]->(n1:行业) 
            WHERE n1.value='火力发电' 
            RETURN DISTINCT n0 AS n4 LIMIT 10

            # 同在火力发电行业的上市公司有多少家？
            MATCH p0=(n0:股票)-[r0:所属行业]->(n1:行业) 
            WHERE n1.value='火力发电'
            RETURN COUNT(DISTINCT n0) AS n4

            # 大悦城和荣盛发展是同一个行业嘛？
            MATCH p0=(n1:股票名称)<-[r0:股票名称]-(n0:股票)-[r1:所属行业]->(n2:行业) 
            WHERE n1.value IN ['大悦城','荣盛发展']
            RETURN DISTINCT n2 AS n5 LIMIT 10

            # 同在河北的上市公司有哪些？
            MATCH p0=(n0:股票)-[r0:地域]->(n1:地域) 
            WHERE n1.value='河北' 
            RETURN DISTINCT n0 AS n4 LIMIT 10

            # 神州高铁是什么时候上市的？
            MATCH p0=(n1:股票名称)<-[r0:股票名称]-(n0:股票)-[r1:上市日期]->(n2:上市日期) 
            WHERE n1.value='神州高铁' 
            RETURN DISTINCT n2 AS n1 LIMIT 10

            # 火力发电行业男性高管有多少个？
            MATCH p0=(n1:行业)<-[r0:所属行业]-(n0:股票)<-[r1:任职于]-(n2:高管)-[r2:性别]->(n3:性别)-[r3:别名]->(n4:性别_别名) 
            WHERE n1.value='火力发电' AND n4.value='男性'
            RETURN COUNT(DISTINCT n2) AS n3

            # 2023年三月六日上市的股票代码？
            MATCH p0=(n0:股票)-[r0:上市日期]->(n1:上市日期) 
            WHERE (n1.value>=20230306 AND n1.value<=20230306) 
            RETURN DISTINCT n0 AS n4 LIMIT 10

            # 2023年三月六日上市的股票有哪些？
            MATCH p0=(n0:股票)-[r0:上市日期]->(n1:上市日期) 
            WHERE (n1.value>=20230306 AND n1.value<=20230306) 
            RETURN DISTINCT n0 AS n4 LIMIT 10

            # 2023年三月六日上市的股票有多少个？
            MATCH p0=(n0:股票)-[r0:上市日期]->(n1:上市日期) 
            WHERE (n1.value>=20230306 AND n1.value<=20230306) 
            RETURN COUNT(DISTINCT n0) AS n4

            # 胡永乐是什么性别？
            MATCH p0=(n0:高管)-[r0:性别]->(n1:性别) 
            WHERE n0.value='胡永乐' 
            RETURN DISTINCT n1 AS n7 LIMIT 10

            # 在山东由硕士学历的男性高管任职的上市公司，都属于哪些行业？
            MATCH 
    	        p1=(n1:`地域`)<-[:`地域`]-(n2:`股票`)<-[:`任职于`]-(n3:`高管`)-[:`性别`]->(n4:`性别`),
                p2=(n3)-[:`学历`]->(n5:学历),
                p3=(n2)-[:`所属行业`]->(n6:行业)
            WHERE n1.value='山东' AND n5.value='硕士' AND n4.value='M'
            RETURN DISTINCT n6.value AS hy
        '''


def prompt(ask):
    return f"""
        您是一名助手，能够根据示例Cypher查询生成Cypher查询。
        示例Cypher查询有：\n {examples()} \n
        除了Cypher查询之外，不要回复任何解释或任何其他信息。
        您永远不要为你的不准确回复感到抱歉，并严格根据提供的cypher示例生成cypher语句。
        不要提供任何无法从Cypher示例中推断出的Cypher语句。
        当由于缺少对话上下文而无法推断密码语句时，通知用户，并说明缺少的上下文是什么。
        现在请为这个查询生成Cypher:
        # {ask}
        """


if __name__ == '__main__':
    # 输入问题
    ask = '在北京由硕士学历的女性高管任职的上市公司，都属于哪些行业？'

    print(gpt4(prompt(ask)))

# GPT-4 Test Result:
# QA:你好（正确生成）
# RE:请提供您希望查询的信息，以便我为您生成相应的Cypher查询语句。如果可以，请提供与示例Cypher查询相似的信息和要求。

# QA:最近半导体上涨的原因是什么？（正确生成）
# RE:您好，根据提供的Cypher示例，我无法为您生成关于 "最近半导体上涨的原因是什么" 的Cypher查询。请提供与您需求相关的Cypher查询示例以便我为您提供有效的查询语句。

# QA:海南有哪些上市公司？（正确生成）
# RE:
#   MATCH p0=(n0:股票)-[r0:地域]->(n1:地域) WHERE n1.value='海南'
#   RETURN DISTINCT n0 AS n4 LIMIT 10

# QA:电气设备行业有多少家上市公司？（正确生成）
# RE:
#   MATCH p0=(n0:股票)-[r0:所属行业]->(n1:行业)
#   WHERE n1.value='电气设备'
#   RETURN COUNT(DISTINCT n0) AS n4

# QA:水泥行业博士学历的男性高管有多少位？（正确生成）
# RE:
#   MATCH
#       p0=(n1:行业)<-[r0:所属行业]-(n0:股票)<-[r1:任职于]-(n2:高管)-[r2:性别]->(n3:性别)-[r4:别名]->(n5:性别_别名),
#       p1=(n2)-[r3:学历]->(n4:学历)
#   WHERE n1.value='水泥' AND n5.value='男性' AND n4.value='博士'
#   RETURN COUNT(DISTINCT n2) AS n3

# QA:在北京由硕士学历的女性高管任职的上市公司，都属于哪些行业？
# RE:
#   MATCH
#       p1=(n1:地域)<-[:地域]-(n2:股票)<-[:任职于]-(n3:高管)-[:性别]->(n4:性别),
#       p2=(n3)-[:学历]->(n5:学历),
#       p3=(n2)-[:所属行业]->(n6:行业)
#   WHERE n1.value='北京' AND n5.value='硕士' AND n4.value='F'
#   RETURN DISTINCT n6.value AS hy
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197