task01笔记

Datawhale 知识图谱组队学习 之 Task 1 知识图谱安装和介绍

以下笔记均参考DataWhale知识图谱组队学习所提供的笔记

目录

• Datawhale 知识图谱组队学习 之 Task 1 知识图谱介绍
  • 目录
  • 一、Neo4J 介绍与安装
    • 1.1 引言
    • 1.2 Neo4J 下载
    • 1.3 Neo4J 安装
    • 1.4 Neo4J Web 界面 介绍
    • 1.5 Cypher查询语言
  • 二、Neo4J 实战
    • 2.1 引言
    • 2.2 创建节点
    • 2.3 创建关系
    • 2.4 创建 出生地关系
    • 2.5 图数据库查询
    • 2.6 删除和修改
  • 三、通过 Python 操作 Neo4j
    • 3.1 neo4j模块：执行CQL ( cypher ) 语句
    • 3.2 py2neo模块：通过操作python变量，达到操作neo4j的目的
  • 参考资料

一、Neo4J 介绍与安装

1.1 引言

知识图谱由于其数据包含实体、属性、关系等，常见的关系型数据库诸如MySQL之类不能很好的体现数据的这些特点，因此知识图谱数据的存储一般是采用图数据库（Graph Databases）。而Neo4j是其中最为常见的图数据库。

1.2 Neo4J 下载

首先在 Neo4J官网 下载 Neo4J。

• Neo4J分为社区版和企业版：
  • 企业版：收费，在横向扩展、权限控制、运行性能、HA等方面都比社区版好，适合正式的生产环境；
  • 社区版：免费，普通的学习和开发采用免费社区版就好。

1.3 Neo4J 安装

• 首先要安装jdk, 如果当前windows系统已经安装了jdk1.8版本，community版本太高会导致不能启动的问题

• 注意community版本和desktop版本不能同时出现在一个系统里面否则会报错，二者选一即可

• 目前尝试成功的是jdk1.8+Neo4j community 3.5.5版本
  Neo4j 3.5.5版本百度云连接：https://pan.baidu.com/s/1jK9XPgny-VHjsdpJbrBsJA
  提取码：57v9

• 在环境变量中加入系统变量：

变量名：NEO4J_HOME， 变量值：E:\neo4j-community-3.5.5
1

• Path中加入

E:\neo4j-community-3.5.5\bin
1

• 注：如果报错记得检查一下java jdk是否在环境变量中添加：

变量名：CLASSPATH, 变量值 .;E:\jdk1.8.0\lib
注意变量值前面的.不能省
1
2

• windows系统下载好neo4j和jdk 1.8.0后，输入以下命令启动后neo4j

  neo4j.bat console
1

图 12 Neo4j 运行结果

1.4 Neo4J Web 界面 介绍

Neo4J提供了一个用户友好的 Web 界面，可以进行各项配置、写入、查询等操作，并且提供了可视化功能。
打开浏览器，输入http://127.0.0.1:7474/browser/，如下图 13 所示，界面最上方就是交互的输入框。

图 13 Neo4J Web界面

1.5 Cypher查询语言

• Cypher：
  • 介绍：是Neo4J的声明式图形查询语言，允许用户不必编写图形结构的遍历代码，就可以对图形数据进行高效的查询。
  • 设计目的：类似SQL，适合于开发者以及在数据库上做点对点模式（ad-hoc）查询的专业操作人员。
  • 其具备的能力包括：
    • 创建、更新、删除节点和关系
    • 通过模式匹配来查询和修改节点和关系 - 管理索引和约束等

二、Neo4J 实战

2.1 引言

这个案例的节点主要包括人物和城市两类，人物和人物之间有朋友、夫妻等关系，人物和城市之间有出生地的关系。特别鸣谢知乎@异尘手把手教你快速入门知识图谱 - Neo4J教程

• Person-Friends-Person
• Person-Married-Person
• Person-Born_in-Location

2.2 创建节点

1. 删除数据库中以往的图，确保一个空白的环境进行操作【注：慎用，如果库内有重要信息的话】：

图 14 Neo4J 删库操作

  MATCH (n) DETACH DELETE n
1

这里，MATCH是匹配操作，而小括号()代表一个节点node（可理解为括号类似一个圆形），括号里面的n为标识符。
使用MATCH (n) RETURN n 可以查询当前数据库中的所有节点和关系

2. 创建一个人物节点：

  CREATE (n:Person {name:'John'}) RETURN n
1

注：

CREATE是创建操作，Person是标签，代表节点的类型。

花括号{}代表节点的属性，属性类似Python的字典。

这条语句的含义就是创建一个标签为Person的节点，该节点具有一个name属性，属性值是John。
(n:Person) 代表查询一个类型的数据，并给它起了一个别名
(n:Person {name:“Jonh”}) 查询某个类型下，节点属性满足某个值的数据
关于:的使用方式：

1. 用:运算符来分隔节点名和标签名；2. 使用:运算符来分隔关系名称和关系标签名称；3. 用:运算算符将一个标签名称分隔到另一个标签名称。
   Neo4J数据库服务器使用此名称将此节点详细信息存储在Database.As中作为Neo4J DBA或开发人员，我们不能使用它来访问节点详细信息。

3. 创建更多的人物节点，并分别命名：

  CREATE (n:Person {name:'Sally'}) RETURN n
  CREATE (n:Person {name:'Steve'}) RETURN n
  CREATE (n:Person {name:'Mike'}) RETURN n
  CREATE (n:Person {name:'Liz'}) RETURN n
  CREATE (n:Person {name:'Shawn'}) RETURN n
1
2
3
4
5

如图 15 所示，6个人物节点创建成功

图 15 创建 人物节点

4. 创建地区节点

  CREATE (n:Location {city:'Miami', state:'FL'})
  CREATE (n:Location {city:'Boston', state:'MA'})
  CREATE (n:Location {city:'Lynn', state:'MA'})
  CREATE (n:Location {city:'Portland', state:'ME'})
  CREATE (n:Location {city:'San Francisco', state:'CA'})
1
2
3
4
5

可以看到，节点类型为Location，属性包括city和state。

如图 16 所示，共有6个人物节点、5个地区节点，Neo4J贴心地使用不用的颜色来表示不同类型的节点。

图 16 创建地区节点

2.3 创建关系

1. 朋友关系

  MATCH (a:Person {name:'Liz'}), 
        (b:Person {name:'Mike'}) 
  MERGE (a)-[:FRIENDS]->(b)
1
2
3

注：

方括号[]即为关系，FRIENDS为关系的类型。

注意这里的箭头–>是有方向的，表示是从a到b的关系。 这样，Liz和Mike之间建立了FRIENDS关系。
-[:FRIENDS]-> 指向一个节点，访问某一类关系FRIENDS

2. 关系增加属性

  MATCH (a:Person {name:'Shawn'}), 
        (b:Person {name:'Sally'}) 
  MERGE (a)-[:FRIENDS {since:2001}]->(b)
1
2
3

3. 增加更多的朋友关系：

  MATCH (a:Person {name:'Shawn'}), (b:Person {name:'John'}) MERGE (a)-[:FRIENDS {since:2012}]->(b)
  MATCH (a:Person {name:'Mike'}), (b:Person {name:'Shawn'}) MERGE (a)-[:FRIENDS {since:2006}]->(b)
  MATCH (a:Person {name:'Sally'}), (b:Person {name:'Steve'}) MERGE (a)-[:FRIENDS {since:2006}]->(b)
  MATCH (a:Person {name:'Liz'}), (b:Person {name:'John'}) MERGE (a)-[:MARRIED {since:1998}]->(b)
1
2
3
4

这样，图谱就已经建立好了：

图 17 图谱

2.4 创建 出生地关系

1. 建立不同类型节点之间的关系-人物和地点的关系

  MATCH (a:Person {name:'John'}), (b:Location {city:'Boston'}) MERGE (a)-[:BORN_IN {year:1978}]->(b)
  MATCH (a:Person {name:'Liz'}), (b:Location {city:'Boston'}) MERGE (a)-[:BORN_IN {year:1981}]->(b)
  MATCH (a:Person {name:'Mike'}), (b:Location {city:'San Francisco'}) MERGE (a)-[:BORN_IN {year:1960}]->(b)
  MATCH (a:Person {name:'Shawn'}), (b:Location {city:'Miami'}) MERGE (a)-[:BORN_IN {year:1960}]->(b)
  MATCH (a:Person {name:'Steve'}), (b:Location {city:'Lynn'}) MERGE (a)-[:BORN_IN {year:1970}]->(b)
1
2
3
4
5

这里的关系是BORN_IN，表示出生地，同样有一个属性，表示出生年份。

如图 18 ，在人物节点和地区节点之间，人物出生地关系已建立好。

2. 也可以在创建节点的时候就建好关系

  CREATE (a:Person {name:'Todd'})-[r:FRIENDS]->(b:Person {name:'Carlos'})
1

最终该图谱如下图所示：

图 18 图谱

2.5 图数据库查询

1. 查询下所有在Boston出生的人物

  MATCH (a:Person)-[:BORN_IN]->(b:Location {city:'Boston'}) RETURN a,b
1

如果关系有指向性，需要使用–> ， []对应的是关系
结果如图 19：

图 19 查询下所有在Boston出生的人物

2. 查询所有对外有关系的节点

  MATCH (a)--() RETURN a
1

只查明有关系，所以用–
结果如图 20：

图 20 查询所有对外有关系的节点

3. 查询所有有关系的节点

  MATCH (a)-[r]->() RETURN a.name, type(r)
1

节点的名字用.name查询， 关系的类型用type()表示
对应显示表1：
a.name type®
“John” “BORN_IN”
“Sally” “FRIENDS”
“Mike” “BORN_IN”
“Mike” “FRIENDS”
“Todd” “FRIENDS”
“Steve” “BORN_IN”
“Liz” “BORN_IN”
“Liz” “MARRIED”
“Liz” “FRIENDS”
“Shawn” “BORN_IN”
“Shawn” “FRIENDS”
“Shawn” “FRIENDS”
“Todd” “FRIENDS”

表1 查询所有有关系的节点

4. 查询所有对外有关系的节点，以及关系类型

  MATCH (a)-[r]->() RETURN a.name, type(r)
1

结果如表2：
a.name type®
“John” “BORN_IN”
“Sally” “FRIENDS”
“Mike” “BORN_IN”
“Mike” “FRIENDS”
“Todd” “FRIENDS”
“Steve” “BORN_IN”
“Liz” “BORN_IN”
“Liz” “MARRIED”
“Liz” “FRIENDS”
“Shawn” “BORN_IN”
“Shawn” “FRIENDS”
“Shawn” “FRIENDS”
“Todd” “FRIENDS”

表2 查询所有对外有关系的节点，以及关系类型

5. 查询所有有结婚关系的节点

  MATCH (n)-[:MARRIED]-() RETURN n
1

结果如图 23：

图 23 查询所有有结婚关系的节点

6. 查找某人的朋友的朋友

  MATCH (a:Person {name:'Mike'})-[r1:FRIENDS]-()-[r2:FRIENDS]-(friend_of_a_friend) RETURN friend_of_a_friend.name AS fofName
1

返回Mike的朋友的朋友，结果如图 24：

图 24 查找某人的朋友的朋友

2.6 删除和修改

1. 增加/修改节点的属性

  MATCH (a:Person {name:'Liz'}) SET a.age=34
  MATCH (a:Person {name:'Shawn'}) SET a.age=32
  MATCH (a:Person {name:'John'}) SET a.age=44
  MATCH (a:Person {name:'Mike'}) SET a.age=25
1
2
3
4

这里，SET表示修改操作

2. 删除节点的属性

  MATCH (a:Person {name:'Mike'}) SET a.test='test'
  MATCH (a:Person {name:'Mike'}) REMOVE a.test
1
2

删除属性操作主要通过REMOVE

3. 删除节点

  MATCH (a:Location {city:'Portland'}) DELETE a
1

删除节点操作是DELETE

4. 删除有关系的节点

  MATCH (a:Person {name:'Todd'})-[rel]-(b:Person) DELETE a,b,rel
1

三、通过 Python 操作 Neo4j

目前看需要安装的是：

• pip install py2neo
• pip install neo4j
• pip install neo4j-driver

3.1 neo4j模块：执行CQL ( cypher ) 语句

  # step 1：导入 Neo4j 驱动包
  from neo4j import GraphDatabase
  # step 2：连接 Neo4j 图数据库
  driver = GraphDatabase.driver("bolt://localhost:7687", auth=("neo4j", "password"))
  # 添加 关系 函数
  def add_friend(tx, name, friend_name):
      tx.run("MERGE (a:Person {name: $name}) "
            "MERGE (a)-[:KNOWS]->(friend:Person {name: $friend_name})",
            name=name, friend_name=friend_name)
  # 定义 关系函数
  def print_friends(tx, name):
      for record in tx.run("MATCH (a:Person)-[:KNOWS]->(friend) WHERE a.name = $name "
                          "RETURN friend.name ORDER BY friend.name", name=name):
          print(record["friend.name"])
  # step 3：运行
  with driver.session() as session:
      session.write_transaction(add_friend, "Arthur", "Guinevere")
      session.write_transaction(add_friend, "Arthur", "Lancelot")
      session.write_transaction(add_friend, "Arthur", "Merlin")
      session.read_transaction(print_friends, "Arthur")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

结果是：
Guinevere
Lancelot
Merlin
1
2
3
4

注意：password要用设定的密码替代，原始代码是neo4j

上述程序的核心部分，抽象一下就是：

  neo4j.GraphDatabase.driver(xxxx).session().write_transaction(函数(含tx.run(CQL语句)))
1

或者

  neo4j.GraphDatabase.driver(xxxx).session().begin_transaction.run(CQL语句)
1

3.2 py2neo模块：通过操作python变量，达到操作neo4j的目的

  # step 1：导包
  from py2neo import Graph, Node, Relationship
  # step 2：构建图
  g = Graph()
  # step 3：创建节点
  tx = g.begin()
  a = Node("Person", name="Alice")
  tx.create(a)
  b = Node("Person", name="Bob")
  # step 4：创建边
  ab = Relationship(a, "KNOWS", b)
  # step 5：运行
  tx.create(ab)
  tx.commit()
1
2
3
4
5
6
7
8
9
10
11
12
13
14

结果是：
<Bookmark 'neo4j:bookmark:v1:tx61'>
1
2

py2neo模块符合python的习惯，写着感觉顺畅，其实可以完全不会CQL也能写

参考资料

1. 干货 | 从零到一学习知识图谱的技术与应用
2. 手把手教你快速入门知识图谱 - Neo4J教程
3. python操作图数据库neo4j的两种方式
4. Neo4j之导入数据
5. schema 介绍
6. 知识图谱Schema
7. 美团大脑：知识图谱的建模方法及其应用
8. 肖仰华. 知识图谱：概念与技术．北京：电子工业出版社, 2020．2－39．
   J教程](https://zhuanlan.zhihu.com/p/88745411)
9. python操作图数据库neo4j的两种方式
10. Neo4j之导入数据
11. schema 介绍
12. 知识图谱Schema
13. 美团大脑：知识图谱的建模方法及其应用
14. 肖仰华. 知识图谱：概念与技术．北京：电子工业出版社, 2020．2－39．
15. Cypher语法