当前位置:   article > 正文

windows安装spacy 2.3.5(pip && conda)并加载模型_spacy加载本地模型

spacy加载本地模型

spacy官网链接

安装spacy

spacy库安装前辈介绍了三种方法,亲测了前两种。比较推荐使用第二种。(第一种需要1下载VS相关插件)。但是依照博客无法下载 en等模型。

官方安装方式

# pip下安装
pip install -U pip setuptools wheel
pip install -U spacy

  
  
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3
# conda下安装,注意这种方式自动安装的是spacy的最高版本,截止2021.1.1版本为2.3.5
conda install -c conda-forge spacy

  
  
  • 1
  • 2
  • 1
  • 2

安装model(以en_core_web_sm为例)

官方方法需要使用VPN才可食用

python -m spacy download en_core_web_sm

  
  
  • 1
  • 1

如果没有VPN会报错:Read timed out.

解决方法

注意:首先要保证spacy和对应的model版本相互匹配
模型下载地址

步骤如下:

1.github下载相应model,也可使用如下命令行进行下载;

#注意:安装不同版本的模型需要修改命令行中的链接,模型列表见github
pip install https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-2.3.0/en_core_web_sm-2.3.0.tar.gz

  
  
  • 1
  • 2
  • 1
  • 2

2.下载后解压,将model文件夹(这里是en_core_web_sm文件夹)放在项目文件所在文件夹下。

因为部分模型比较大,所以 copy 模型会占用较大的空间。这里再介绍一种使用 软链接mklink 的方式:

需要在安装好的spacy文件夹的data文件夹下创建en_core_web_sm文件夹的符号连接。
以管理员方式打开cmd,否则会提示“ 你没有足够的权限执行此操作 ”。
在cmd窗口输入mklink [选项] 链接文件 目标文件,这里 找对路径 很重要。

运行结果如下图:
在这里插入图片描述在这里插入图片描述如上图所示,en 即为新生成的软链接,指向en_core_web_sm2.3.0。

也可以以管理员身份打开powershell,运行如下:
cmd mklink /D E:\Anaconda\Lib\site-packages\spacy\data\en E:\Anaconda\Lib\site-packages\en_core_web_sm
不知道为什么我没有成功…
参考链接

测试spacy及model

#spacy的小尝试
import spacy
print(spacy.__version__)
#读取指定路径下的模型
#nlp = spacy.load("en_core_web_sm-2.3.0\en_core_web_sm\en_core_web_sm-2.3.0")
#利用link加载到指定模型
nlp = spacy.load('en')  
doc = nlp(u'This is a sentence')
for token in doc:
    print(token)

  
  
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

结果如下:

2.3.5
  • 1

This
is
a
sentence

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号