HuggingFace Transformers基础----Pipeline_huggingface transformers pipeline

一、主要的库

Transformers:核心库，模型加载、训练、流水线等
Tokenizer：分词器，对数据进行预处理，文本到token序列的互相转换
Datasets：数据集库，提供了数据集的加载、处理等方法
Evalute：评估函数，提供各种评价指标的计算函数
PEFT：高效微调模型的库，提供了几种高效微调的方法，小参数量撬动大模型
Accelerate：分布式训练，支持多种后端，如Onnxruntime、OpenVino等
Gradio：可视化部署库，几行代码快速实现基于web交互的算法演示系统

二、pipeline创建与使用

1.创建

代码如下：

# pipe=pipeline("text-classification")#根据任务类型直接创建pipeline，默认都是英文模型
# pipe("very good!")

# pipe=pipeline("text-classification",model="uer/roberta-base-finetuned-dianping-chinese"，device=0)#指定任务类型和模型，创建基于指定模型的pipeline，device指定gpu还是cpu
1
2
3
4

2.目标检测实例

代码如下：

checkpoint="google/owlvit-base-patch32"
detector=pipeline(model=checkpoint,task="zero-shot-object-detection")

url="https://img.zcool.cn/community/01dcd059117b12a801216a3e9c4fd5.jpg@1280w_1l_2o_100sh.jpg"
im=Image.open(requests.get(url,stream=True).raw)
print(im)

predictions=detector(im,candidate_labels=["hat","sunglasses"])#用文本的方式告诉它需要检测什么东西
print(predictions)

draw=ImageDraw.Draw(im)
for prediction in predictions:#画图把检测的目标圈起来
    box=prediction["box"]
    label=prediction["label"]
    score=prediction["score"]
    xmin,ymin,xmax,ymax=box.values()
    draw.rectangle((xmin,ymin,xmax,ymax),outline="red",width=1)
    draw.text((xmin,ymin),f"{label}:{round(score,2)}",fill="red")
print(im)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

三. pipeline的背后实现

代码如下：

#1. 初始化分词器Tokenizer
tokenizer=AutoTokenizer.from_pretrained("uer/roberta-base-finetuned-dianping-chinese")
#2. 初始化model
model=AutoModelForSequenceClassification.from_pretrained("uer/roberta-base-finetuned-dianping-chinese")
#3. 数据预处理
input_text="你真棒！"
inputs=tokenizer(input_text,return_tensors="pt")
#4. 模型预测
res=model(**inputs).logits
#5. 结果后处理
logits=res.logits
pred=torch.argmax(torch.softmax(logits,dim=-1)).item()
result=model.config.id2label.get(pred)

1
2
3
4
5
6
7
8
9
10
11
12
13
14