python-transformers常用的pipline和常用模型介绍_python 库的transformer 预训练模型

作者：菜鸟追梦旅行 | 2024-04-02 20:15:41

踩

python 库的transformer 预训练模型

transformers库提供了许多预训练模型和pipeline，可以用于各种自然语言处理任务，如文本分类、命名实体识别、情感分析、问答等。其中一些常用的pipeline包括：

任务	描述	模态	Pipeline
文本分类	为给定的文本序列分配一个标签	NLP	pipeline(task=“sentiment-analysis”)
文本生成	根据给定的提示生成文本	NLP	pipeline(task=“text-generation”)
命名实体识别	为序列里的每个token分配一个标签(人, 组织, 地址等等)	NLP	pipeline(task=“ner”)
问答系统	通过给定的上下文和问题, 在文本中提取答案	NLP	pipeline(task=“question-answering”)
掩盖填充	预测出正确的在序列中被掩盖的token	NLP	pipeline(task=“fill-mask”)
文本摘要	为文本序列或文档生成总结	NLP	pipeline(task=“summarization”)
文本翻译	将文本从一种语言翻译为另一种语言	NLP	pipeline(task=“translation”)
图像分类	为图像分配一个标签	Computer vision	pipeline(task=“image-classification”)
图像分割	为图像中每个独立的像素分配标签(支持语义、全景和实例分割)	Computer vision	pipeline(task=“image-segmentation”)
目标检测	预测图像中目标对象的边界框和类别	Computer vision	pipeline(task=“object-detection”)
音频分类	给音频文件分配一个标签	Audio	pipeline(task=“audio-classification”)
自动语音识别	将音频文件中的语音提取为文本	Audio	pipeline(task=“automatic-speech-recognition”)
视觉问答	给定一个图像和一个问题，正确地回答有关图像的问题	Multimodal	pipeline(task=“vqa”)

transformers库提供了许多预训练模型，可以用于各种自然语言处理任务。这些模型可以分为几类，包括：

语音识别模型：Bert、RoBERTa、DistilBERT等
机器翻译模型：MarianMT、T2T、Roberta等
命名实体识别模型：BERT、RoBERTa、XLM等
文本分类模型：BERT、RoBERTa、XLM等
问答模型：BERT、RoBERTa等

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/353660