Transformer入门-Huggingface的基础02-Pipeline的使用_transformer pipeline

一.什么是Pipeline

什么是pipeline？就是将数据预处理、模型的调用，结果后处理的三部分组装成的流水线。使我们能够直接将源文本进行输入，然后可以直接获得最终的答案。
Pipeline实现了端到端的输入和输出。
下面是一个极为简单的Pipeline的运行过程。

二. Pipeline支持的任务类型

Pipeline方便简单，容易上手，支持多种任务类型

from transformers.pipelines import SUPPORTED_TASKS
for k,v in SUPPORTED_TASKS.items():
    print(k,v["type"])
1
2
3

输出结果：

audio-classification audio
automatic-speech-recognition multimodal
feature-extraction multimodal
text-classification text
token-classification text
question-answering text
table-question-answering text
visual-question-answering multimodal
fill-mask text
summarization text
translation text
text2text-generation text
text-generation text
zero-shot-classification text
zero-shot-image-classification multimodal
conversational text
image-classification image
image-segmentation image
object-detection image

三. Pipeline的创建与使用方式

方式一
直接的指定相应的任务以及相关的模型

# pipeline中的重要参数
# model:指定需要使用到的模型
# device:设置是否在gpu显卡设置上，默认在cpu上
pipe = pipeline("text-classification",model="uer/roberta-base-finetuned-dianping-chinese",device=0)
1
2
3
4

方式二
可以通过先加载模型以及指定分词器
然后再通过pipeline进行加载完成相应的任务

from transformers import AutoModelForSequenceClassification,AutoTokenizer
model = AutoModelForSequenceClassification.from_pretrained("uer/roberta-base-finetuned-dianping-chinese")
tokenizer = AutoTokenizer.from_pretrained("uer/roberta-base-finetuned-dianping-chinese")
pipes = pipeline("text-classification",model=model,tokenizer=tokenizer)
1
2
3
4