热门标签
热门文章
- 1真正理解nodeJS，nodejs是什么，深入理解node_node 和nodejs
- 2Redis运维实战之客户端连接_redis客户端连接
- 3open3D源码解读第三篇_open3d mahalanobis distance
- 4高效程序员的45个习惯：敏捷开发修炼之道 - 读后感_习惯敏。
- 5Ubuntu 12.04安装完全指南_smsl目录
- 6鸿蒙4.2小版本推出，鸿蒙5.0已经不远了_鸿蒙4.2不如4.0
- 7vue3加ts构建项目步骤_vue3+ts写新项目教程
- 8一百三十九、Kettle——Linux安装Kettle8.2
- 9windows安装最新版Mysql8.0.27_mysql8.0.27驱动
- 10机器学习，深度学习的资料和工具库大全_10-715cmu
当前位置: article > 正文
NLP文本处理的流程_语料处理流程图
作者：笔触狂放9 | 2024-07-25 21:54:00
赞
踩
语料处理流程图
文本处理流程
- 首先先看一个整体的流程图
- 原始文本：从网页、新闻或者指定资源获取的没有经过处理的原始文本数据。
- 分词：一般分为英文和中文，英文相对较简单，多数通过空格或者其他标点符号就可以，而中文相对困难。
- 清洗： 1.无用的标签，如：html；2. 特殊符号，如！；3. 停用词，如，英文中的a， an，the；4.大写转小写，
- 标准化：主要用在英文语料中，把多个单词转换成统一的单词，简单的说就是同义词转换，把相同意思的单词都转换成统一的一个单词。
- 特征提取：用常用的技术如：tf-idf，word2vec等将标准化的string数据转换成向量，用于输入模型进行训练。
- 建模：搭建模型。
- 评估：评估模型的好坏。
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/882138
推荐阅读
相关标签
