中文数据清洗_中文文本清洗困惑度

作者：2023面试高手 | 2024-04-03 22:21:34

踩

中文文本清洗困惑度

1、HTML标签去除

从Web获得的数据通常包含许多HTML实体、注释，如lt；& gt；& &；，嵌入在原始数据中。这些信息属于噪音数据，会严重影响数据的质量，需要使用正则表达式去除。

2、去除URL

网页文本数据中，如推特、评论中，会包含一些URL和链接，根据业务需求，不是项目需要的数据，因此需要去除。

3、长串数字、特殊符号去除

通常情况下中文文本中长串的数字代表手机号、车牌号、用户名ID等文本内容，在非特定的文本任务情境下可以去除。或者将其转换为归一化的特征，如是否出现长串数字的布尔值特征HAS_DIGITAL、按长度归一的DIGIAL_LEN_10等。每篇文本数据中可能会包含一些空格、tab键和\u4300等一些与业务需求无关的符号，需要先对每篇文章进行分句，然后使用规则方法进行去除。

4、无意义的文本

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/2023面试高手/article/detail/356720

中文数据清洗_中文文本清洗 困惑度

中文数据清洗_中文文本清洗困惑度