Hugging Face Transformers 学习1_can't load the configuration of 'distilbert-base-u

我们来学习一下 Hugging Face Transformers 这个很方便的NLP library。本节我们首先看一下官方的 Quick Tour: https://huggingface.co/transformers/quicktour.html#

Pipeline

官方的解释从pipeline开始。它把所有的东西全部打包到了一起为一个端到端的工具，对初学者非常友好。好，首先加载pipeline

from transformers import pipeline
1

加载完之后我们来创建第一个模型

classifier = pipeline('sentiment-analysis')
1

非常简单的操作，直接告诉 pipeline我们要干啥便能得到 classifier 这个model。那么这里的 task 是 sentiment-analysis, 就是给一句话分析语气是 positive 还是 negative.

注意：

1. 运行上面那句话之后，系统会自动下载一个 pretrained model 和 一个 tokenizer.
2. pretrained model 就是别人已经帮你预训练好并且上载到他们的model hub的一个模型。比如说这里我们做的是 sentiment-analysis 这个任务，默认的下载模型叫 distilbert-base-uncased-finetuned-sst-2-english. 名字有点长但是很是 self-explanatory，就是使用了 DistilBERT 架构的，并且已经在 SST-2 这个 dataset 上 fine-tuned 过的一个model，那这个数据集本身就是做文本情感分析的，所以很适合我们自己的 sentiment-analysis task。
3. 另一个tokenizer 是什么尼？他就是一个对文本的预处理器。每个model都有一个对应的tokenizer，来确保你使用时候对文本的预处理和他训练时候对文本的预处理是一致的。
4. pipeline这个类的作用就是把 model 和 tokenizer 打包在一起 并 post-process 模型输出的 predictions 为可读的形式，这样直接输出的结果你就知道是positive还是negative了。
5. 除了pretrained model 和 tokenizer，实际上pipeline还打包了一个模型配置configuration，我们暂且用不到，在本文最后修改模型架构时候再说。

使用pipeline

下面我们可以尝试一下用 classifier 这个模型了，看看表现如何

classifier('We are very happy to show you the 
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/642987