用 Python 做文本挖掘的基本流程_python数据挖掘-文本挖掘

• 数据集。如果是已经被人做成数据集了，这就省去了很多麻烦事
• 抓取。这个是 Python 做得最好的事情，优秀的包有很多，比如 scrapy，beautifulsoup 等等。

预处理

1. 去掉抓来的数据中不需要的部分，比如 HTML TAG，只保留文本。结合 beautifulsoup 和正则表达式就可以了。pattern.web 也有相关功能。
2. 处理编码问题。utf-8赛高
3. 将文档分割成句子。
4. 分词。jieba大法好
5. 去掉标点符号。使用正则表达式就可以。
6. 去掉停用词。中文停词表可以参考这个。

特征提取

• Bag-of-Words
• bi-gram 和 tri-gram 以及更高的 n-gram 模型
• TF-IDF。sklearn 里面有。
• Hashing！

• 分类，情感分析等。sklearn 里面很多方法，pattern 里有情感分析的模块，nltk 中也有一些分类器。
• 主题发现
  NMF
  (Online) Latent Dirichlet Allocation
  word2vec
• 自动文摘

• Matplotlib
• Tag cloud
• Graph