入自然语言处理的门以huggingface的transformers方式_hugging face的transformer

入自然语言处理的门以huggingface的transformers方式

flyfish

目的

最好有个示例，给我代码和模型，一行代码也不写，只一行命令执行看结果，到底是个什么样子，然后再分析。
本文就实现了，模型下载有困难？文末网盘伺候，包含TensorFlow和 PyTorch的模型，有的示例需要使用数据集，网盘里也有，免的到处找，提供模型很多慢慢下载。
如果您想要以下功能
1、文本生成
我说一句话，程序自动补充下一句或者自动生成一大段话。

2、填空
一句话，少了词，程序自动补上。

3、文本分类
哪些文本属于一类的。

4、聊天
程序可以和人聊天。
等等吧
如果需要上面类似的功能那就接着往下看。
本文选的项目地址是
https://github.com/huggingface/transformers

官网链接是 https://huggingface.co/

关于huggingface的介绍

Hugging Face Transformers简称Transformers 曾经用名pytorch Transformers和pytorch pretrained bert

Hugging Face获得了 1500 万美元的融资。此轮融资由 Lux Capital
领投，A.Capital，Betaworks，Richard Socher，Greg Brockman，Kevin Durant
跟投。资金将用于建立自然语言处理库。

Hugging Face是一个聊天机器人开发商，2017年，Hugging
Face推出了其最初的聊天机器人应用程序。通过人工智能技术，聊天机器人可以与用户进行交流。除了支持文本信息之外，产品同样也能处理照片、表情包等。所以，当用户发送自拍照，或者是一个悲伤的表情时，其平台的聊天机器人也能够做出相应的反应。

凭借极具个性化的设计，Hugging Face开发的聊天机器人应用在青少年群体中颇受欢迎。与其他公司不同，Hugging
Face更专注于娱乐方向。

来源

先看个成品
https://transformer.huggingface.co/

点击Start writing，写下一句话，然后按个TAB键，看看什么效果。

第一步安装

pip安装

首先，你需要安装TensorFlow 2.0或PyTorch。有关适用于你平台的特定安装命令，请参阅TensorFlow安装页面和/或PyTorch安装页面。

安装TensorFlow 2.0或PyTorch后，可以使用pip如下安装transformers：

pip install transformers
1

获取源码安装
首先需要安装TensorFlow 2.0或PyTorch。

在安装TensorFlow 2.0或PyTorch之后，你可以通过克隆存储库并运行以下命令从源代码进行安装：

git clone https://github.com/huggingface/transformers
cd transformers
pip install .
1
2
3

第二步执行命令

假设下载的模型是gpt2，大约2.43G
进行源码目录examples

执行命令

 python run_generation.py \
--model_type=gpt2 \
--length=100 \
--model_name_or_path='/media/model/share/gpt2'
1
2
3
4

run_generation.py在examples/text-generation中
执行结果
我写了一句
程序接着写100个字

英语？想的输入一句汉语，输出一段汉语，那这就是后面的工作了。

下载模型地址 8qnr