Python NLTK 入门教程_nltk教程

Python 自然语言处理——NLTK 入门教程

NLTK 入门(详细使用见官网：http://www.nltk.org/)

一. 安装

pip install nltk
>>> import nltk
>>> nltk.download()
1
2
3

选择需要的包安装，建议默认路径下载，全部包安装大概需要 2G 内存

测试安装是否成功

>>> from nltk.book import *

*** Introductory Examples for the NLTK Book *** Loading text1,  ...,  text9  and  sent1,  ...,  sent9 Type the name of the text or sentence to view it. Type: 'texts()' or 'sents()' to list the materials. text1: Moby Dick by Herman Melville 1851
text2: Sense and Sensibility by Jane Austen 1811 text3: The Book of Genesis
text4: Inaugural Address Corpus text5: Chat Corpus
text6: Monty Python and the Holy Grail text7: Wall Street Journal
text8: Personals Corpus
text9: The Man Who Was Thursday by G . K . Chesterton 1908
1
2
3
4
5
6
7
8

二.NLTK 常见操作（英文语料）

1.文本切分成语句

import nltk
text="Don't hesitate to ask questions.Be positive." from nltk.tokenize import sent_tokenize print(sent_tokenize(text))

Out: ["Don't hesitate to ask questions.", 'Be positive.']
1
2
3
4

2.文本切分成语句（大批量句子切分、特定语言句子切分）

tokenizer=nltk.data.load('tokenizers/punkt/english.pickle') print(tokenizer.tokenize(text))

Out: ["Don't hesitate to ask questions.", 'Be positive.']
1
2
3

3. 分词方法

• 方法1：TreebankWordTokenizer 依据 Penn Treebank 语料库的约定，通过分离缩略词来实现切分

words=nltk.word_tokenize(text) print(words)

Out: ['Do', "n't", 'hesitate', 'to', 'ask', 'questions', '.', 'Be', 'positive', '.']
1
2
3

• 方法2：PunktWordTokenizer 通过分离标点来实现切分的，每一个单词都会被保留

from nltk.tokenize import WordPunctTokenizer tokenizer=WordPunctTokenizer()
words = tokenizer.tokenize(text) print(words)

Out: ['Don', "'", 't', 'hesitate', 'to', 'ask', 'questions', '.', 'Be', 'positive', '.']
1
2
3
4

• 其他分词方法 ：RegexpTokenizer、WhitespaceTokenizer、BlanklineTokenizer 等

4. 频率分布 nltk.probability.FreqDist

5. 条件频率分布 nltk.probability.ConditionalFreqDist

​

6.nltk.text.Text()类用于对文本进行初级的统计与分析

7. nltk.corpus 自带语料库

8. 语料库操作

9. 提取词干

提取词干：词干提取可以被定义为一个通过去除单词中的词缀以获取词干的过程。

以单词 raining 为例，词干提取器通过从 raining 中去除词缀来返回其词根或词干 rain。为了提高信息检索的准确性，搜索引擎大多会使用词干提取来获取词干并将其存储为索引词。

• 方法 1：在 NLTK 中使用 PorterStemmer 类进行词干

import nltk
from nltk.stem import PorterStemmer stemmerporter = PorterStemmer() stemmerporter.stem('happiness')

Out: 'happi'
1
2
3
4

• 方法 2：LancasterStemmer 类在 NLTK 中用于实现 Lancaster 词干提取算法

import nltk
from nltk.stem import LancasterStemmer stemmerlan=LancasterStemmer() stemmerlan.stem('happiness')

Out: 'happy'
1
2
3
4

• n 方法 3：在 NLTK 中，我们通过使用 RegexpStemmer 类也可以构建属于我们自己的词干提取器。它的工作原理是通过接收一个字符串，并在找到其匹配的单词时删除该单词的前缀或后缀

10. 词性标注

词性标注：词性标注是一个对句中的每个标识符分配词类（例如名词、动词、形容词等）标记的过程。在 NLTK 中，词性标注器存在于 nltk.tag 包中并被 TaggerIbase 类所继承

import nltk
text1=nltk.word_tokenize("It is a pleasant day today") nltk.pos_tag(text1)

Out: [('It',  'PRP'), ('is',  'VBZ'), ('a',  'DT'), ('pleasant',  'JJ'), ('day', 'NN'),  ('today', 'NN')]
1
2
3
4

三. 文本处理操作

1.消除标点符号（中英文）

def filter_punctuation(words): new_words = [];
illegal_char = string.punctuation + '【·！…（）—：“”？《》、；】' pattern=re.compile('[%s]' % re.escape(illegal_char))
for word in words:
new_word = pattern.sub(u'', word) if not new_word == u'':
new_words.append(new_word) return new_words

words_no_punc = filter_punctuation(words) print(words_no_punc)

Out: ['Don', 't', 'hesitate', 'to', 'ask', 'questions', 'Be', 'positive']
1
2
3
4
5
6
7
8
9

2. 文本的大小写转换

print(text.lower()) print(text.upper()) Out:
don't hesitate to ask questions. be positive.
DON'T HESITATE TO ASK QUESTIONS. BE POSITIVE.
1
2
3

3.处理停止词（英文）

from nltk.corpus import stopwords 
stops=set(stopwords.words('english'))
words = [word for word in words if word.lower() not in stops] 
print(words)
1
2
3
4