【NLP笔记】文本分词、清洗和标准化_nlp文本标准化

作者：我家自动化 | 2024-07-18 18:49:18

踩

nlp文本标准化

文章目录

文本分词
文本清洗和标准化

文本分词

参考文章：一文看懂NLP里的分词（中英文分词区别+3 大难点+3 种典型方法）;

文本分词处理NLP的基础，先通过对文本内容进行分词、文本与处理（无用标签、特殊符号、停用词、大写转小写）、向量化等操作，然后才能够作为各种算法的输入，分词一直是 NLP 的基础，但是现在也不一定了，不过在一些特定任务中，分词还是必要的。如：关键词提取、命名实体识别等，感兴趣的可以看看这篇论文：Is Word Segmentation Necessary for Deep Learning of Chinese Representations?

中文分词

英文分词

代码示例

文本分词：自然语言处理（NLP）（一）文本预处理篇之分词、向量表示和特征处理;
文档分词：批量处理文件构造语料库并训练Doc2Vec模型（基于gensim的实现）;

文本清洗和标准化

参考文档：

经分词后的文本通常包含很多冗余信息，因此需要进行数据清洗，具体包含：文本清洗（无用标签剔除、特殊符号剔除、停用词剔除、大小写转换等）和文本标准化（字符集的转换、单词的统一化、时间和日期的统一化）；

在完成具体任务时，需要根据任务目标对文本数据进行清洗，保证冗余信息的剔除。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/847159