NLP-transformer学习：（2）transformer的 pipeline_transformers pipeline用gpu

NLP-transformer学习：（2）transformer的 pipeline

基于 NLP-transformer学习：（1），这里对transformer 更近一步，学习尝试使用pipeline

学习内容：

1. pipeline 知识基础：
2. pipeline 实战：
3. gpu 上跑模型：

---

1 pipeline 基础基础知识：

pipeline：字面意思就是流水线：包括数据预处理+模型调用+结果后处理。pipeline() 提供了在任何语言、计算机视觉、音频和多模态任务上使用 Hub 中的任何模型进行推理的简单方法, 如图

pipeline 的huggingface 参考教程：https://transformers-doc.100sta.com/docs/transformers/v4.31.0/zh/pipeline_tutorial#pipeline
pipeline 支持的任务：

通过代码也可以看支持哪些任务：

# print the support task
from transformers.pipelines import SUPPORTED_TASKS
for k, v in SUPPORTED_TASKS.items():
   print("---------------------------")
   print(k, v)
1
2
3
4
5

运行结果

2 pipeline 实战 ：

代码：

from transformers import pipeline

# case 1 text-classification
model_id = "distilbert/distilbert-base-uncased-finetuned-sst-2-english"
text_pipe = pipeline("text-classification", model=model_id)
print("case1:")
print(text_pipe('good!'))

# case 2 sentiment
model_id = "facebook/detr-resnet-50"
sentiment_pipe = pipeline("object-detection", model=model_id)
print("case2:")
print(sentiment_pipe('/home/mex/Desktop/learn_objdetect/datasets/coco128/images/train2017/000000000025.jpg'))
1
2
3
4
5
6
7
8
9
10
11
12
13

注:其中，第一次运行时没有模型，需要下载

运行结果：

可以看到对于情感判断的 case1 ，我写的是好的积极的判断正确，
同时case 2 是一张来自与目标检测coco数据集的图片，是一只长颈鹿，这个模型也是运行正确

还有一点要注意：
就是之前的写法可以不写明模型id（model_id），但是目前我用的 transformer 需要增加，如果不增加就会报出如下错误

model id 怎么看？ 在章节1 中的打印可以看到
例如：

当我们登录 huggingface 后，选择界面上的 models

比如我们选择 uer

选择 uer/roberta-base-finetuned-cluener2020-chinese
进入进去后，我们看到的开头就是 model_id就是我们想要的

3 gpu 运行 ：

代码：

# case 3 
import torch
import time

model_id = "facebook/detr-resnet-50"
objdct_pipe = pipeline("object-detection", model=model_id)
start = time.time()
for i in range(30):
   objdct_pipe('/home/mex/Desktop/learn_objdetect/datasets/coco128/images/train2017/000000000025.jpg')
end = time.time()
print("case 3:")
print("cpu time:" + str((end - start)))


model_id = "facebook/detr-resnet-50"
objdct_pipe = pipeline("object-detection", model=model_id, device=0) # chose gpu 0
objdct_pipe.model.device
torch.cuda.synchronize()
start = time.time()
for i in range(30):
   objdct_pipe('/home/mex/Desktop/learn_objdetect/datasets/coco128/images/train2017/000000000025.jpg')
torch.cuda.synchronize()
end = time.time()
print("gpu time:" + str((end - start)))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

运行结果：

可以看到gpu 明显运行快很多，但是不要比运行一次的，因为gpu开始和结束需要同步，比较耗时。