用nltk对文本分词_使用nltk进行评论文本分词

用nltk对文本分词

在对有标注的文本进行分词时，要用到nltk库中的WordPunctTokenizer和WhitespaceTokenizer,例子如下：

import nltk
from nltk.tokenize import WordPunctTokenizer,WhitespaceTokenizer
txt = 'red foxes <emotion>scare</emotion> me.'
token = WordPunctTokenizer().tokenize(txt)
print(token)
token1 
1
2
3
4
5