安装spacy以及在torchtext中使用它_spacy torchtext

作者：繁依Fanyi0 | 2024-05-30 19:43:36

踩

spacy torchtext

安装：

pip install spaCy-master.zip

下载模型：

python -m spacy download en_core_web_sm

注意，在torchtext中使用spacy时，由于field的默认属性是tokenizer_language='en'

当使用en_core_web_sm时要改创建的field属性为tokenizer_language='en_core_web_sm'

self.TEXT = data.Field(init_token='<start>', eos_token='<eos>', lower=True, tokenize='spacy', tokenizer_language='en_core_web_sm', fix_length=16)

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/648335