自然语言处理小项目-新闻分类_新闻自然语言处理

作者：你好赵伟 | 2024-03-31 12:17:04

踩

新闻自然语言处理

读入数据
使用结巴分词器进行分词
使用停词表进行过滤（例如哈工大停词表）
将过滤后的单词进行词频统计，生成词云（wordcloud）
可以根据jieba.analyse包使用对原始数据进行处理，提取出每条新闻的关键词。
使用gensim自然语言处理包对过滤后的数据进行处理，得到LDA主题模型（类似Kmeans自己指定主题数，返回主题和当前主题的关键字以及关键词的重要程度，例如：0.006*"戏" + 0.006*"导演" + 0.005*"该剧" + 0.004*"中" + 0.004*"演员"）。

最后基于贝叶斯模型进行新闻分类，tip：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/344596