自然语言处理--Gensim入门_genism词数太少

Gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。它支持包括TF-IDF，LSA，LDA，和word2vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算，信息检索等一些常用任务的API接口。

from gensim import corpora, models, similarities
from gensim.similarities import Similarity
import numpy as np

texts = [['human', 'interface', 'computer'],
['survey', 'user', 'computer', 'system', 'response', 'time'],
['eps', 'user', 'interface', 'system'],
['system', 'human', 'system', 'eps'],
['user', 'response', 'time'],
['trees'],
['graph', 'trees'],
['graph', 'minors', 'trees'],
['graph', 'minors', 'survey', 'graph']]

# 训练语料的预处理
dictionary = corpora.Dictionary(texts)
print(dictionary)
print(dictionary.token2id)
corpus = [dictionary.doc2bow(text) for text in texts]
# corpus是一个返回bow向量的迭代器
print(corpus)

# 出于内存优化的考虑，Gensim支持文档的流式处理。我们需要做的，只是将上面的列表封装成一个Python迭代器；
# 每一次迭代都返回一个稀疏向量即可。
class MyCorpus(object):
    def iter(self):
        for line in open('mycorpus.txt'):
            # assume there's one document per line, tokens separated by whitespace
            yield dictionary.doc2bow(line.lower().split())

# 主题向量的变换
# 首先是模型对象的初始化。通常，Gensim模型都接受一段训练语料（注意在Gensim中，语料对应着一个稀疏向量的迭代器）
# 作为初始化的参数。显然，越复杂的模型需要配置的参数越多。
# 将完成对corpus中出现的每一个特征的IDF值的统计工作
tfidf = models.TfidfModel(corpus)
print(tfidf)
# 接下来，调用这个模型将任意一段语料（依然是bow向量的迭代器）转化成TFIDF向量（的迭代器）。
doc_bow = [(0, 1), (1, 1)]
print(tfidf[doc_bow])
print(tfidf[corpus])
print(np.array(tfidf[corpus]))

# 可以将训练好的模型持久化到磁盘上，以便下一次使用
tfidf.save("./model.tfidf")
tfidf = models.TfidfModel.load("./model.tfidf")

# 文档相似度的计算
# 构造LSI模型并将待检索的query和文本转化为LSI主题向量
# 转换之前的corpus和query均是BOW向量
query = [(0, 1), (1, 1)]
lsi_model = models.LsiModel(corpus, id2word=dictionary, num_topics=2)
print(lsi_model)
documents = lsi_model[corpus]
print(documents)
print(np.array(documents))
query_vec = lsi_model[query]
print(query_vec)
# 接下来，用待检索的文档向量初始化一个相似度计算的对象
# similarities.MatrixSimilarity类仅仅适合能将所有的向量都在内存中的情况
index = similarities.MatrixSimilarity(documents, num_best=2)
# 通过save()和load()方法持久化这个相似度矩阵：
index.save('./tmp/test.index')
index = similarities.MatrixSimilarity.load('./tmp/test.index')
sims = index[query_vec]
print("sims:", sims)

# 如果待检索的目标文档过多，使用similarities.MatrixSimilarity类往往会带来内存不够用的问题。
# 此时，可以改用similarities.Similarity类。二者的接口基本保持一致。
# similarities.Similarity类。该类的操作只需要固定大小的内存，因为他将索引切分为多个文件（称为碎片）存储到硬盘上了。
# 它实际上使用了similarities.MatrixSimilarity和similarities.SparseMatrixSimilarity两个类
"""
第一个参数是一个地址，这个地址，我猜是用来存放缓存文件的。
第二个参数 是LSI向量化的语料库
第三个参数 是语料库文本的数量
"""
sim_index = similarities.Similarity('Similarity-LSI-index', documents, num_features=9, num_best=2)
sims2 = sim_index[query_vec]
print("sims2:", sims2)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79

原文：
https://www.jianshu.com/p/9ac0075cc4c0