NLP之文本预处理方法_idx2word和word2idx

1，方法

（1）首先创建两个字典word2idx和idx2word)
（2）保存start_word（"<start>"），end_word（"<end>"），unknown_word（"<unk>"）到字典中。
（3）统计训练语料中所有的单词，并统计其频数，将频数大于某个预定数vocab_threshold的word添加到字典中去。

2，工具

以上文本预处理的方法可能用到的代码有：

import nltk
from collections import Counter


# 分词
senternce = 'Quick brown fox jumps over the lazy dog'
tokens = nltk.tokenize.word_tokenize(sentence.lower())

# 统计频数
counter = Counter()
tokens = ['Quick', 'brown', 'fox', 'jumps', 'over', 'the', 'lazy', 'dog']
counter.update(tokens)


1
2
3
4
5
6
7
8
9
10
11
12
13
14