热门标签
热门文章
- 1【Python】 pycharm+conda配置虚拟环境_pycharm使用conda虚拟环境
- 2人类最高质量客户端项目chrome源码下载与编译
- 3sublime使用
- 4git 安装包 最新 下载 快速 国内 镜像 地址_git镜像下载
- 5IDEA最新使用教程和技巧保姆级总结（强迫症福音+新手必看）_idea教程
- 6算法——递归与搜索算法_递归搜索
- 7人工智能气象一：深度学习预测浅水方程模式_ai预报前数据的预处理方法
- 8A100 解析：为何它成为 AI 大模型时代的首选？
- 9八股文之Redis篇_八股文redis 数据结构
- 10chatgpt赋能python：Python导入和提取CSV列_python cvs 拷贝列
当前位置: article > 正文
NLP--数据清洗_nlp数据清洗
作者：你好赵伟 | 2024-07-11 20:47:15
赞
踩
nlp数据清洗
对于爬取的文本进行数据分析之前，需要对文本先进行清洗和整理。主要是两个方面：
一、去停用词：建立停用词表，实际上就是在文本文件中输入想要删除的词。
步骤：
（1）文本分词
（2）去除停用词
（3）将去停用词后的文本存到txt文本中
二、词性标注：词性的数量是有限的，通过词性标注更好的对文本进行分析。使用jieba库自带的posseg函数对去停用词后的文本进行词性标注。
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/811571
推荐阅读
相关标签
