nltk中文分句_learn_nltk/2. NLTK笔记-分句与分词.md at master · ourren/learn_nltk · GitHub...

NLTK笔记:分句与分词

NLTK在数据抓取完成后，你拿到的数据往往是一篇文章或者一大段文字，在进行其他处理之前，你需要先对文章进行切割或者处理(去除多余字符、特殊符号，分句和分词)，分句主要是可以把有些不需要的句子给去掉，比如长度小于10的。

分句

一般情况下我们可以通过python的split等函数快速完成切分任务，主要的分割特征如下：

中文主要有(。？！)这几个句子结尾标志；

英文也差不多(. ? !)；

可以使用split函数进行分割，可以得到新的列表，例如下面的函数;

def sentence_split(str_centence):

list_ret = list()

for s_str in str_centence.split('.'):

if '?' in s_str:

list_ret.extend(s_str.split('?'))

elif '!' in s_str:

list_ret.extend(s_str.split('!'))

else:

list_ret.append(s_str)

return list_ret

另外nltk中也有提供sent_tokenize库来实现分句，具体使用情况如下函数所示：

from nltk.tokenize import sent_tokenize

def sentence_token_nltk(str):

sent_tokenize_list = sent_tok