赞
踩
毕业论文写到结尾,着手增加数据量,结果翻车,模型变的不靠谱(实际模型它太不健壮了)。
一开始选择用word2vec结合tfidf加权模型求句向量,但是数据量稍微增大就会报错;改用word2vec求平均句向量,正确率掉到了0.47。心态崩了。目前,论文的指导老师推荐了bert模型,也是现在比较流行的,网上说效果比较好。现在正在安装环境,踩坑多多,希望记录一下,快快的更新吧。
说明:我的毕业论文是中文分类任务,这篇博客目标是用bert模型计算句向量。
首先想到在自己的电脑运行github开源的bert代码,但是程序调试过程遇到了2个问题,自己水平难以解决,问题如下:
(1)这个开源代码用的是python2的方法,自己电脑安装的是3.8的版本,运行起来问题很多,目前的水平解决不了,放弃。
(2)貌似运行起来很占电脑资源,最好能配置gpu运行,当然也能换cpu运行,还是放弃了。
思路1过程中参考到的博客和资源,如下:
(1)Google BERT的完整源码下载地址:https://github.com/google-research/bert
(2)bert生成句向量三种方法:https://www.jianshu.com/p/fbde57f91f0f
在自己电脑跑源码感觉不太靠谱,看到有很多博主对安装客户端、服务器端这个方法进行了详细介绍。我也找了一篇靠谱一点的博客学习了一下这个方法,希望能够成功。
1. 首先,在cmd中下载bert-as-server 框架。
pip install bert-serving-server #server
pip install bert-serving-client #client
2. 下载好预训练好的bert模型。
google下载地址:https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip。
3. 在cmd中启动BERT服务。
bert-serving-start -model_dir D:\PyCharm-workspace\bert-master\chinese_bert_chinese_wwm_L-12_H-768_A-12 -max_batch_size 10 -max_seq_len 20 -num_worker 1
# 注意,这个地址是自己刚刚下载文件解压的地址,后面的参数可以自己设定
pip install tensorflow==1.14
思路2过程中参考到的博客和资源,如下:
(1)BERT预训练模型简单应用(中文句子向量相关性分析):bert安装教程参考1
(2)如何在keras构造的分类模型中将bert预训练出的句子向量:bert安装教程参考2
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。