图解nlp——预训练模型做文本分类_训练一个文本分类模型

背景

1. 现在关于NLP的实在是太火了，各种神奇的模型，比如chatgpt，SD等。
2. 现在大模型、预训练模型非常火爆。
3. 其实现在的nlp技术门槛，已经非常低了，基本上你只要熟练掌握python和transfromers库的用法就行了。
4. 我们上一期就是介绍的transformers库，然后里面有个文本分类的任务，有的读者竟然还去尝试了一下，然后发现代码没跑通（确实是我代码问题）。
5. 其实分类这个任务，在现实生活中，也是非常常见和重要的任务。
6. 我还发现，还有人在手写什么cnn、lstm等传统的算法，做文本分类。如果硬件资源不紧张的话，为什么不试一试大模型呢？

因此，在本文，将使用transformers库、使用大模型、做一个文本分类任务。这也只是作为一个开始，后面也会介绍更多的nlp任务。

背景2

本文虽然是介绍一个大模型做文本分类任务，难道我就是单纯的上代码？并不是

1. 这次我加上了图解功能，通过图解，看整体的数据传递，其实更加的轻松。
2. 本文强调一些数据细节，比如文本分类要求的数据格式到底是什么样子的？Tokenizer和模型到底是有什么功能，他们是怎么管理数据的。

背景3

1. 其实搞nlp科学难，但是搞nlp技术不难
2. 这些花里胡哨的算法或者模型，其实就是去看数据流流向、形式、格式就行了。然后再看代码，其实一目了然，再结合论文和公式，你发现很多算法也就那样。

那就这样，让我们进入文本分类任务中吧

1. 处理数据code_01_processdata.ipynb

数据介绍

1. 本案例使用的是一个外卖平台的评论数据，对评论的文本做了分类（分为好评和差评）
2. 当你把code_01_processdata.ipynb文件跑完之后，就可以看到在
   声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/黑客灵魂/article/detail/787870