当前位置:   article > 正文

最新Bert安装教程_anaconda安装bert

anaconda安装bert

BERT的全称是Bidirectional Encoder Representation from Transformers,即双向Transformer的Encoder,因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上,即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。

相信很多小伙伴在安装Bert时遇到很多问题,不知道怎么安装,小编也是整了一天才总结出最新安装方案。

一、环境依赖:

安装Python、tensorflow
(很多小伙伴使用是anaconda的spyder)

python 3.6.8
tensorflow 1.13.1
bert-serving-server 1.9.1
bert-serving-cline 1.9.1

二、安装package

打开anaconda的anaconda Prompt
输入以下其中一个,进行安装

pip install bert-serving-server

pip install bert-serving-client

三、安装Tensorflow

由于安装Tensorflow需要的包比较多,可以采用一个一个安装的方法

absl_py,astor,gast,gropcio,Markdown,msgpack,protobuf,tensorboard,tensorflow,termcolor

下载地址:

https://pypi.org/

我们这里采用直接安装的方法,下载地址:

https://pypi.org/project/tensorflow/#files

在这里插入图片描述
下载好了之后,放在一个文件夹下,小编这里放在D盘目录下,然后打开anaconda Prompt,输入以下命令:

pip install D:\tensorflow-2.1.0-cp37-cp37m-win_amd64.whl

D:\tensorflow-2.1.0-cp37-cp37m-win_amd64.whl是文件的路径,大家不要搞错了。安装时间比较长,大家耐心等待!!
在这里插入图片描述
这就安装成功啦!!!!

四、下载中文bert预训练的模型

下载地址:

https://github.com/google-research/bert#pre-trained-models

在这里插入图片描述
下载完成后解压,解压成功后:
在这里插入图片描述
启动anaconda Prompt,输入以下命令:

bert-serving-start -model_dir D:\chinese_L-12_H-768_A-12 -num_worker=1

这里D:\chinese_L-12_H-768_A-12 -num_worker=1依旧是地址,小编是放在D盘目录下面。
参数-model_dir用来指定上步解压的模型路径,参数num_worker=2表示启动了两个worker,可以同时处理2个请求,因此如果用一台配置较高的机器单独做为bert的server,可以通过设定该参数提供高并发支持。
在这里插入图片描述
安装完成后,我们来试运行一下:

from bert_serving.client import BertClient

在这里插入图片描述
试运行成功,没有报错,以上是bert的安装教程,运行成功的小伙伴麻烦点个赞,谢谢大家!!!!

下面给大家一个小福利,对于使用LSTM模型,还需要安装keras才能运行。下面是方法。

安装keras的方法

共有三个相关的文件需要安装
1、Keras_Applications
2、Keras_Preprocessing
3、Keras
安装地址:

https://pypi.org/

先安装Keras_Applications和Keras_Preprocessing,最后安装新版的Keras.这样就不会报错了。

试运行以下以下代码:

from keras.preprocessing.text import Tokenizer
from keras.preprocessing.sequence import pad_sequences
from keras.models import Sequential
from keras.layers import Dense, Embedding, LSTM, SpatialDropout1D
from sklearn.model_selection import train_test_split
from keras.utils.np_utils import to_categorical
from keras.callbacks import EarlyStopping
from keras.layers import Dropout

运行结果:
在这里插入图片描述

ok!没有问题,已经安装成功!!!

下面就可以采用LSTM模型和Bert模型进行中文分类训练了,喜欢的小伙伴麻烦点个赞!!!谢谢大家。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/花生_TL007/article/detail/570135
推荐阅读
相关标签
  

闽ICP备14008679号