自然语言处理HuggingFace | pipeline

HuggingFace简介

Hugging Face是一家美国公司，专门开发用于构建机器学习应用的工具。该公司的代表产品是其为自然语言处理应用构建的transformers库，以及允许用户共享机器学习模型和数据集的平台。

pipeline简介

pipelines是transformers中的一个API，提供已经训练好的模型，给用户直接调用。当我们使用 pipeline API，选择特定已经存好的模型文件，然后会进行下载并且缓存。目前支持的pipeline模型有：

1. feature-extraction (get the vector representation of a text) 特征抽取
2. fill-mask 掩码回复
3. ner (named entity recognition) 命名实体识别
4. question-answering 阅读理解
5. sentiment-analysis 情感分析
6. summarization 摘要
7. text-generation 文本生成
8. translation 翻译
9. zero-shot-classification 零样本分类

参考链接
https://www.zhihu.com/tardis/zm/art/390819358?source_id=1005