【踩坑记录】OpenPrompt工具包如何使用？_openprompt工具包如何使用?_vector<>的博客-csdn博客

家人们，泪目啊！整整弄了好几个小时，终于是跑起来了，跑起来了啊家人们，一起看看我踩过了哪些坑吧。关于Prompt的介绍可以看博主的另外两篇文章：
简明扼要：红到发紫的prompt是什么？【上】
详细介绍：红到发紫的Prompt是什么？【下】

目录

• • 介绍
  • 安装
  • 运行
  • • 小demo
    • cannot import name 'load_dataset'
    • 下载数据集
  • demo详解
  • • 第一步：确定NLP任务
    • 第二步：确定预训练语言模型
    • 第三步：定义模板
    • 第四步：答案映射
    • 第五步：构造PromptModel
    • 第六步:构造PromptDataLoader
    • 第七步：零样本预测

介绍

   OpemPromt是一个清华大学提出的专门针对第四范式开发的工具。PromptModel和PromptDataset是用来与pytorch兼容的两个数据结构。PLMs与Tokenizer支持调用和管理各种各样的预处理语言模型。Template是Prompt的特色，该工具提供了很多可供选择的模板。Dataset支持跨不同NLP任务数据集的使用。

   总而言之：OpenPrompt 提供一套完整的 Prompt Learning Pipeline，而其中每个 class 都继承了 torch 的类或者 huggingface 的类来实现，完美兼容最流行的深度学习框架和最流行的预训练模型框架，在代码风格和 pipeline 设计上也是完美贴合 huggingface 框架，让研究者可以以最少的学习成本上手和修改。

读者可以通过下面的参考资料和文献详细了解这个工具，本篇文章仅重点记录如何使用这个工具。

• 链接：https://github.com/thunlp/OpenPrompt
• 论文https://arxiv.org/abs/2111.01998
• 官方文档：https://thunlp.github.io/OpenPrompt/

安装

官方提供了两种安装方式，博主使用的是git方式

git clone https://github.com/thunlp/OpenPrompt.git
cd OpenPrompt
python setup.py install
1
2
3

此处有一个小坑，上面这三行命令是官方文档中的教程，相比于git中的readme中少了一行

pip install -r requirements.txt
1

requirements.txt里面记录的是一部分需要安装的工具包，刚开始我只是扫了一眼，发现有很多我已经安装过的包（比如torch，tansformers等），所以抱着偷懒的心态没有执行这一条命令，导致后面不停地找补