ConvE，知识图谱嵌入（KGE）论文复现（Ubuntu 20.04）

ConvE，知识图谱嵌入（KGE）论文复现（Ubuntu 20.04）

---

Paper：Convolutional 2D Knowledge Graph Embeddings

---

准备工作

GitHub地址，打开如下，下拉按照说明来复现模型

克隆项目到本地

git clone git@github.com:TimDettmers/ConvE.git
1

---

操作步骤

一. 安装与配置

1. Install PyTorch using Anaconda.

参照我的两篇博文：

1. WIN 11 安装 Ubuntu 20.04 （双系统）（2022.02.28）
2. Ubuntu 20.04 系统下（子系统）深度学习环境配置（Pytorch + GPU）

对于anaconda的安装，可以参考如下博文中安装anaconda3和环境变量部分的内容，其他不要多看，因为我的环境是双系统下的Ubuntu系统，而不是在虚拟机中进行的：

VMware 中 Ubuntu 20.04 安装 和 Pytorch 1.10.2 环境配置（2022.02.10）

---

2. Install the requirements pip install -r requirements.txt

执行以下命令：

cd ConvE
pip install -r requirements.txt
1
2

出现错误，执行以下命令，大家根据自己情况而定：

pip install --upgrade pip
pip install PyHamcrest
pip install --upgrade pip
1
2
3

再转头来执行命令：pip install -r requirements.txt，显示安装成功，图太长，截最后一部分：

---

3. Download the default English model used by spaCy, which is installed in the previous step python -m spacy download en_core_web_sm

首先，手动下载需要的语言模型：点击进入，如下图所示，点击 tag
使用 next 翻页找到 en_core_web_sm-3.2.0 这个包，点进去：
选择 en_core_web_sm-3.2.0.tar.gz 下载：

下载后，执行命令：pip install en_core_web_sm-3.2.0.tar.gz，如下图所示

---

然后，对应下载合适的 spacy 版本， 我安装的是3.2.0版本，在自己的 conda 虚拟环境中执行命令（我默认的清华源安装，其他的应该也可以）：

pip install spacy==3.2.0
1

---

4. Run the preprocessing script for WN18RR, FB15k-237, YAGO3-10, UMLS, Kinship, and Nations: sh preprocess.sh

执行以下命令：

cd ConvE
sh preprocess.sh
1
2

---

二. 在 FB15k-237 数据集上跑 ConvE 模型

执行以下命令：

CUDA_VISIBLE_DEVICES=0 python main.py --model conve --data FB15k-237 \
                                      --input-drop 0.2 --hidden-drop 0.3 --feat-drop 0.2 \
                                      --lr 0.003 --preprocess
1
2
3

报错：
原因：

从 Spacy V3.0 开始，该导入模块的方式已被弃用，因此要使用 spacy 模型，需要更改代码

解决：

import spacy 替换为 from spacy.lang.en import English
nlp=spacy.load('en') 替换为 nlp = English()

再次执行以下命令，成功：

CUDA_VISIBLE_DEVICES=0 python main.py --model conve --data FB15k-237 \
                                      --input-drop 0.2 --hidden-drop 0.3 --feat-drop 0.2 \
                                      --lr 0.003 --preprocess
1
2
3

中间部分过程，截图如下：
历经最少 12 小时吧，结果如下：

---

三. 在其它数据集上跑 ConvE 及其它两个模型

CUDA_VISIBLE_DEVICES=0 python main.py --model conve --data FB15k-237 \
                                      --input-drop 0.2 --hidden-drop 0.3 --feat-drop 0.2 \
                                      --lr 0.003 --preprocess
1
2
3

改变 --data 后的 FB15k-237 为下列数据集的任何一个:

WN18RR
YAGO3-10
umls
kinship
nations
1
2
3
4
5

改变 --model 后的 convE 为下列数据集的任何一个:

distmult
complex
1
2

---

四. 参数使用和注意事项

关于知识图谱的链接预测任务，在训练时的可选参数及含义：

 -h, --help            show this help message and exit
  --batch-size BATCH_SIZE
                        input batch size for training (default: 128)
  --test-batch-size TEST_BATCH_SIZE
                        input batch size for testing/validation (default: 128)
  --epochs EPOCHS       number of epochs to train (default: 1000)
  --lr LR               learning rate (default: 0.003)
  --seed S              random seed (default: 17)
  --log-interval LOG_INTERVAL
                        how many batches to wait before logging training
                        status
  --data DATA           Dataset to use: {FB15k-237, YAGO3-10, WN18RR, umls,
                        nations, kinship}, default: FB15k-237
  --l2 L2               Weight decay value to use in the optimizer. Default:
                        0.0
  --model MODEL         Choose from: {conve, distmult, complex}
  --embedding-dim EMBEDDING_DIM
                        The embedding dimension (1D). Default: 200
  --embedding-shape1 EMBEDDING_SHAPE1
                        The first dimension of the reshaped 2D embedding. The
                        second dimension is infered. Default: 20
  --hidden-drop HIDDEN_DROP
                        Dropout for the hidden layer. Default: 0.3.
  --input-drop INPUT_DROP
                        Dropout for the input embeddings. Default: 0.2.
  --feat-drop FEAT_DROP
                        Dropout for the convolutional features. Default: 0.2.
  --lr-decay LR_DECAY   Decay the learning rate by this factor every epoch.
                        Default: 0.995
  --loader-threads LOADER_THREADS
                        How many loader threads to use for the batch loaders.
                        Default: 4
  --preprocess          Preprocess the dataset. Needs to be executed only
                        once. Default: 4
  --resume              Resume a model.
  --use-bias            Use a bias in the convolutional layer. Default: True
  --label-smoothing LABEL_SMOOTHING
                        Label smoothing value to use. Default: 0.1
  --hidden-size HIDDEN_SIZE
                        The side of the hidden layer. The required size
                        changes with the size of the embeddings. Default: 9728
                        (embedding size 200).
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

---

注意事项：--preprocess 只执行一次就可以了。例如，第二步的命令执行时，已经带上了这个参数，以后的训练就不必再添加这个参数了：

--preprocess          Preprocess the dataset. Needs to be executed only
                        once. Default: 4
1
2

---

五. 关于论文复现

执行下列命令，选择数据集替换 DATASET_NAME，其余使用默认值，可还原论文：

CUDA_VISIBLE_DEVICES=0 python main.py --data DATASET_NAME
1

---

六. 论文复现中还可能遇到的问题

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/477331