gensim提取一个句子的关键词_搭建一个QA系统（详细版）

"""
- 读取给定的语料库，并把问题列表和答案列表分别写入到 qlist, alist 里面。
- 在此过程中，不用对字符换做任何的处理（这部分需要在 Part 2.3里处理）
- qlist = ["问题1"， “问题2”， “问题3” ....]
- alist = ["答案1", "答案2", "答案3" ....]
- 务必要让每一个问题和答案对应起来（下标位置一致）
"""

"""
- 1. 停用词过滤 （去网上搜一下 "english stop words list"，会出现很多包含停用词库的网页，或者直接使用NLTK自带的）
- 2. 转换成lower_case： 这是一个基本的操作
- 3. 去掉一些无用的符号： 比如连续的感叹号！！！， 或者一些奇怪的单词。
- 4. 去掉出现频率很低的词：比如出现次数少于10,20.... （想一下如何选择阈值）
- 5. 对于数字的处理： 分词完只有有些单词可能就是数字比如44，415，把所有这些数字都看成是一个单词，
这个新的单词我们可以定义为 "#number"
- 6. lemmazation： 在这里不要使用stemming， 因为stemming的结果有可能不是valid word。
"""
 
# 注意：以下步骤使用的顺序不同，会出现不同的文本处理结果
# 1.处理标点符号：去除question中的标点符号
    input：qlist; output: new qlist
# 2.停用词过滤：注意不同任务场景下的停用词包含的范围不同，如what,where,why等在问答场景下的角色是关键词
    input：qlist; output: new qlist
# 3.数字替换称#number: 将question中的数字同意替换成#number 
    input：qlist,replace = '#number'; output: new qlist
# 4.统计词频，及创建词库（统计词频可用于下一步骤中的去除低频词汇）
    input：qlist,replace = '#number'; output: vocab_count, count(词及词频，基于qlist构建的词典的长度)
# 5.去除低频词汇：通过设置频率阈值选择 ——>输出是
    input：qlist,vocab_count，threshold; output: new qlist
    针对每个问题中的每个单词进行处理

"""
   把qlist中每一个问题的字符串转换成tf-idf向量，转换之后的结果存储在X矩阵中，
其形状是N*D，N是qlist中包含的question的个数， D是构建的vocabulary的大小
思路：使用TF-IDF的方法计算得到每个question的向量表示
实现：使用TF-IDF方法实现单词的向量表示
依据公式 TF-IDF = TF（词频） * IDF（逆文档频率）
对于qlist求tfidf向量表示 
——>对每个question求tfidf向量表示(1*D)
     ——>对vocabulary中的每个词求tfidf向量表示
          ——>对每个词求tf,idf，最后得到其tfidf
"""            

"""
目标：使用glove实现向量表示
思路：基于Glove向量获取句子向量，在获取到每个词的词向量后，即可得到一个句子的向量。通过“average pooling”实现句子的向量。
（需要下载 https://nlp.stanford.edu/projects/glove/ （请下载``glove.6B.zip``&#x