devbox
Cpp五条
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

知识图谱实战

作者：Cpp五条 | 2024-04-02 00:23:29

赞

踩

知识图谱实战

一、知识图谱简单介绍

 

 

 

 

 

二、知识图谱的构建

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 三、知识图谱问答方案

NL2SQL:自然语言转为SQL语句

 

 

bulid_graph.py 

  1. """知识图谱"""
  2. #三元组：实体-关系-实体   实体-属性-属性值
  3.  
  4. import re,json
  5. from py2neo import Graph
  6. from collections import defaultdict
  7.  
  8. """读取三元组，并将数据写入neo4j"""
  9.  
  10. #连接图数据库
  11. graph=Graph("http://localhost:7474",auth=("neo4j","Zmj123456!"))
  12.  
  13. attribute_data=defaultdict(dict)
  14. relation_data=defaultdict(dict)
  15. label_data={}
  16.  
  17. #有的实体后面有括号，里面的内容可以作为标签
  18. #提取到标签后，把括号部分删除
  19. def get_label_then_clean(x,label_data):
  20.     if re.search("(.+)",x):
  21.         label_string=re.search("(.+)",x).group()
  22.         for label in ["歌曲","专辑","电影","电视剧"]:
  23.             if label in label_string:
  24.                 x=re.sub("(.+)","",x)#括号内的内容删除掉，因为括号里面是特殊字符会影响cypher的语句运行
  25.                 label_data[x]=label
  26.             else:
  27.                 x=re.sub("(.+)","",x)
  28.     return x
  29.  
  30.  
  31. #读取实体-关系-实体三元组文件
  32. with open("data/01test.doc",encoding="utf8") as f:
  33.     for line in f:
  34.         head,relation,tail=line.strip().split('\t')#取出三元组
  35.         head=get_label_then_clean(head,label_data)
  36.         relation_data[head][relation]=tail
  37.  
  38. #读取实体-属性-属性值三元组
  39. with open("data/01triplets_enti_attr_value.doc",encoding='utf8') as f:
  40.     for line in f:
  41.         entity,attribute,value=line.strip().split('\t')#取出三元组
  42.         entity=get_label_then_clean(entity,label_data)
  43.         attribute_data[entity][attribute]=value
  44.  
  45. #构建cypher语句
  46. cypher=""
  47. in_graph_entity=set()
  48. for i,entity in enumerate(attribute_data):
  49.     #为所有的实体增加一个名字属性
  50.     attribute_data[entity]["NAME"]=entity
  51.     #将一个实体的所有的属性拼接成一个类似于字典的表达式
  52.     text="{"
  53.     for attribute,value in attribute_data[entity].items():
  54.         text+="%s:\'%s\',"%(attribute,value)
  55.     text=text[:-1]+"}"#最后一个逗号替换成大括号
  56.     if entity in label_data:
  57.         label=label_data[entity]
  58.         #带标签的实体构造语句
  59.         cypher+="CREATE (%s:%s %s)"%(entity,label,text)+"\n"
  60.     else:
  61.         "不带标签的实体构造语句"
  62.         cypher+="CREATE (%s %s)"%(entity,text)+"\n"
  63.     in_graph_entity.add(entity)
  64.  
  65.  
  66. #构造关系语句
  67. for i in enumerate(relation_data):
  68.     #有可能实体只有和其他实体的关系，但没有属性，为这样的实体增加一个名称属性，便于在图上认出
  69.     if head not in in_graph_entity:
  70.         cypher += "CREATE (%s {NAME:'%s'})"%(head,head)+'\n'
  71.         in_graph_entity.add(head)
  72.     for relation,tail in relation_data[head].items():
  73.         #有可能实体只有和其他实体的关系，但没有属性，为这样的实体增加一个名称属性，便于在图上认出
  74.         if tail not in in_graph_entity:
  75.             cypher +="CREATE (%s {NAME:'%s'})"%(tail,tail)+"\n"
  76.             in_graph_entity.add(tail)
  77.  
  78.         #关系语句
  79.         cypher +="CREATE (%s)-[:%s]->(%s)"%(head,relation,tail)+"\n"
  80.  
  81. print(cypher)
  82.  
  83. #执行建表脚本
  84. graph.run(cypher)
  85.  
  86. #记录我们图谱里都有哪些实体，哪些属性，哪些关系，哪些标签
  87. data=defaultdict(set)
  88. for head in relation_data:
  89.     data["entitys"].add(head)
  90.     for relation,tail in relation_data[head].items():
  91.         data["relations"].add(relation)
  92.         data["entitys"].add(tail)
  93.  
  94. for enti,label in label_data.items():
  95.     data["entitys"].add(enti)
  96.     data['labels'].add(label)
  97.  
  98. for enti in attribute_data:
  99.     for attr,value in attribute_data[enti].items():
  100.         data['entitys'].add(enti)
  101.         data['attributes'].add(attr)
  102.  
  103. data=dict((x,list(y))for x,y in data.items())
  104. with open('data/kg_schema.json','w',encoding='utf8') as f:
  105.     f.write(json.dumps(data,ensure_ascii=False,indent=2))
  106.  
graph_qa_base_on_sentence_match.py
  1. """使用文本匹配方式进行知识图谱的应用"""
  2.  
  3. import itertools,json
  4. import re
  5.  
  6. import pandas
  7. from py2neo import Graph
  8. from collections import defaultdict
  9.  
  10. class GraphQA:
  11.     def __init__(self):
  12.         self.graph=Graph("http://localhost:7474",auth=("neo4j","Zmj123456!"))
  13.         schema_path="kg_schema.json"
  14.         templet_path="question_templet.xlsx"
  15.         self.load(schema_path,templet_path)
  16.         print('知识图谱问答系统加载完毕！\n=================')
  17.  
  18.     #加载模板
  19.     def load(self,schema_path,templet_path):
  20.         self.load_kg_schema(schema_path)
  21.         self.load_question_templet(templet_path)
  22.         return
  23.  
  24.     #加载图谱信息
  25.     def load_kg_schema(self,path):
  26.         with open(path,encoding='utf8') as f:
  27.             schema=json.load(f)
  28.         self.relation_set=set(schema['relations'])
  29.         self.entity_set=set(schema['entitys'])
  30.         self.label_set=set(schema['labels'])
  31.         self.attribute_set=set(schema['attributes'])
  32.         return
  33.  
  34.     #加载模板信息
  35.     def load_question_templet(self,templet_path):
  36.         dataframe=pandas.read_excel(templet_path)
  37.         self.question_templet=[]
  38.         for index in range(len(dataframe)):
  39.             question=dataframe["question"][index]
  40.             cypher=dataframe['cypher'][index]
  41.             cypher_check=dataframe["check"][index]
  42.             answer=dataframe["answer"][index]
  43.             self.question_templet.append([question,cypher,json.loads(cypher_check),answer])
  44.         return
  45.  
  46.     #获取问题中谈到的实体，可以使用基于词表的方式，也可以使用NER模型
  47.     def get_mention_entitys(self,sentence):
  48.         return re.findall("|".join(self.entity_set),sentence)
  49.  
  50.     #获取问题中谈到的关系，也可以使用各种文本分类模型
  51.     def get_mention_relations(self,sentence):
  52.         return re.findall("|".join(self.relation_set),sentence)
  53.  
  54.     #获取问题中谈到的属性
  55.     def get_mention_attributes(self,sentence):
  56.         return re.findall("|".join(self.attribute_set),sentence)
  57.  
  58.     #获取问题中的谈到的标签
  59.     def get_mention_labels(self,sentence):
  60.         return re.findall("|".join(self.label_set),sentence)
  61.  
  62.     #对问题进行预处理，提取需要的信息
  63.     def parse_sentence(self,sentence):
  64.         entitys=self.get_mention_entitys(sentence)
  65.         relations=self.get_mention_relations(sentence)
  66.         labels=self.get_mention_labels(sentence)
  67.         attributes=self.get_mention_attributes(sentence)
  68.         return{
  69.             "%ENT%":entitys,
  70.             "%REL":relations,
  71.             "%LAB%":labels,
  72.             "%ATT%":attributes
  73.         }
  74.  
  75.     #将提取到的值分配到键上
  76.     def decode_value_combination(self,value_combination,cypher_check):
  77.         res={}
  78.         for index,(key,required_count) in enumerate(cypher_check.items()):
  79.             if required_count==1:
  80.                 res[key]=value_combination[index][0]
  81.             else:
  82.                 for i in range(required_count):
  83.                     key_num=key[:-1]+str(i)+"%"
  84.                     res[key_num]=value_combination[index][i]
  85.         return res
  86.  
  87.     #对于找到了超过模板中需求的实体数量的情况，需要进行排列组合
  88.     #info:{"%ENT%":["周杰伦","方文山"]，“%REL%”:["作曲"]}
  89.     def get_combinations(self,cypher_check,info):
  90.         slot_values=[]
  91.         for key,required_count in cypher_check.items():
  92.             slot_values.append(itertools.combinations(info[key],required_count))
  93.         value_combinations=itertools.product(*slot_values)
  94.         combinations=[]
  95.         for value_combination in value_combinations:
  96.             combinations.append(self.decode_value_combination(value_combination,cypher_check))
  97.         return combinations
  98.  
  99.     #将带有token的模板替换成真实词
  100.     #string:%ENT1%和%ENT2%是%REL%关系吗
  101.     #combination：{“%ENT1%”:"word1","%ENT2%":"word2"}
  102.     def replace_token_in_string(self,string,combination):
  103.        for key,value in combination.items():
  104.            string = string.replace(key,value)
  105.        return string
  106.  
  107.     #对于单条模板，根据抽取到的实体属性信息扩展，形成一个列表
  108.     #info:{"%ENT%":["周杰伦","方文山"]，“%REL%”:["作曲"]}
  109.     def expend_templet(self,templet,cypher,cypher_check,info,answer):
  110.         combinations=self.get_combinations(cypher_check,info)
  111.         templet_cypher_pair=[]
  112.         for combination in combinations:
  113.             replaced_templet=self.replace_token_in_string(templet,combination)
  114.             replaced_cypher=self.replace_token_in_string(cypher,combination)
  115.             replaced_answer=self.replace_token_in_string(answer,combination)
  116.             templet_cypher_pair.append([replaced_templet,replaced_cypher,replaced_answer])
  117.         return templet_cypher_pair
  118.  
  119.     #验证从文本中提取到的信息是否足够填充模板，如果不够就跳过，节省运算速度。
  120.     #如模板：%ENT%和%ENT%是什么关系？   这句话需要两个实体才能填充，如果问题中只有一个，该模板无法匹配
  121.     def check_cypher_info_valid(self,info,cypher_check):
  122.         for key,required_count in cypher_check.items():
  123.             if len(info.get(key,[]))<required_count:
  124.                 return False
  125.         return True
  126.  
  127.     #根据提取到的实体，关系等信息，将模板展开成待匹配的问题文本
  128.     def expand_question_and_cypher(self,info):
  129.         templet_cypher_pair=[]
  130.         for templet,cypher,cypher_check,answer in self.question_templet:
  131.             if self.check_cypher_info_valid(info,cypher_check):
  132.                 templet_cypher_pair+=self.expand_templet(templet,cypher,cypher_check,info,answer)
  133.         return templet_cypher_pair
  134.  
  135.     #距离函数，文本匹配的所有方法都可以使用
  136.     def sentence_similarity_function(self,string1,string2):
  137.         print("计算  %s  %s"%(string1,string2))
  138.         jaccard_distance=len(set(string1)&set(string2))/len(set(string1)|set(string2))
  139.         return jaccard_distance
  140.  
  141.     #通过问题匹配的方式确定匹配的cypher
  142.     def cypher_match(self,sentence,info):
  143.         templet_cypher_pair=self.expand_question_and_cypher(info)
  144.         result=[]
  145.         for templet,cypher,answer in templet_cypher_pair:
  146.             score=self.sentence_similarity_function(sentence,templet)
  147.             result.append([templet,cypher,score,answer])
  148.         result=sorted(result,reverse=True,key=lambda x:x[2])
  149.         return result
  150.  
  151.     #解析结果
  152.     def parse_result(self,graph_search_result,answer,info):
  153.         graph_search_result=graph_search_result[0]
  154.         #关系查找返回的结果形式较为特殊，单独处理
  155.         if "REL" in graph_search_result:
  156.             graph_search_result['REL']=list(graph_search_result["REL"].types())[0]
  157.         answer=self.replace_token_in_string(answer,graph_search_result)
  158.         return answer
  159.  
  160.     #对外提供问答接口
  161.     def query(self,sentence):#sentence:谁导演的不能说的秘密
  162.         info=self.parse_sentence(sentence)#信息抽取
  163.         templet_cypher_score=self.cypher_match(sentence,info)
  164.         for templet,cypher,score,answer in templet_cypher_score:
  165.             graph_search_result=self.graph.run(cypher).data()
  166.             #最高分命中的模板不一定在图上能找到答案，当不能找到答案时，运行一个搜案语句，找答案时停止查找后面的模板
  167.             if graph_search_result:
  168.                 break
  169.             answer=self.parse_resule(graph_search_result,answer,info)
  170.  
  171.     #通过问题匹配的方式确定匹配的cypher
  172.     def cypher_match(self,sentence,info):
  173.         templet_cypher_pair=self.expand_question_and_cypher(info)
  174.         result=[]
  175.         for templet,cypher,answer in templet_cypher_pair:
  176.             score=self.sentence_similarity_function(sentence,templet)
  177.             result.append([templet,cypher,score,answer])
  178.         result=sorted(result,reverse=True,key=lambda x:x[2])
  179.         return result
  180.  
  181.  
  182. if __name__=="__main__":
  183.     graph=GraphQA()
  184.     res=graph.query("谁导演的不能说的秘密")
  185.     print(res)

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Cpp五条/article/detail/350511
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号