NLP文本摘要NO.2 TextRank算法_nlp摘要textrank

借鉴：http://121.199.45.168:8818/2_1/

TextRank算法的概念

对比于衡量网页重要性的PageRank算法, TextRank算法用于衡量哪些单词是关键词, 类比之下的算法思想也就很好理解了:
如果一个单词出现在很多单词的后面, 就是它和很多单词有关联, 那么说明这个单词比较重要.
如果一个TextRank值很高的单词后面跟着另一个单词, 那么后面这个单词的TextRank值也会相应的被提高.
可看论文加深理解：原始TextRank论文

TextRank算法代码实践

关键词抽取(keyword extraction)：是指从文本中确定一些能够描述文档含义的关键术语的过程
对关键词抽取而言, 用于构建顶点集的文本单元可以使句子中的一个或多个字. 根据这些字之间的关系构建边.
根据任务的需要, 可以使用语法过滤器(syntactic filters)对顶点集进行优化. 语法过滤器的主要作用是将某一类或者某几类词性的字过滤出来作为顶点集.
在真实的企业场景下, 应用TextRank一般都直接采用基于textrank4zh工具包来说辅助工程.

# coding=utf-8
# 导入textrank4zh的相关工具包
from textrank4zh import TextRank4Keyword, TextRank4Sentence

# 导入常用工具包
import pandas as pd
import numpy as np

#关键词抽取
def keywords_extraction(text):
    # allow_speech_tags : 词性列表, 用于过滤某些词性的词
    tr4w = TextRank4Keyword(allow_speech_tags=['n', 'nr', 'nrfg', 'ns', 'nt', 'nz'])

    # text: 文本内容, 字符串
    # window: 窗口大小, int, 用来构造单词之间的边, 默认值为2
    # lower: 是否将英文文本转换为小写, 默认值为False
    # vertex_source: 选择使用words_no_filter, words_no_stop_words, words_all_filters中的>哪一个来构造pagerank对应的图中的节点
    #                默认值为'all_filters', 可选值为'no_filter', 'no_stop_words', 'all_filters'
    # edge_source: 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪>一个来构造pagerank对应的图中的节点之间的边
    #              默认值为'no_stop_words', 可选值为'no_filter', 'no_stop_words', 'all_filters', 边的构造要结合window参数
    # pagerank_config: pagerank算法参数配置, 阻尼系数为0.85

    tr4w.analyze(text=text, window=2, lower=True, vertex_source='all_filters',
                 edge_source='no_stop_words', pagerank_config={'alpha': 0.85, })

    # num: 返回关键词数量
    # word_min_len: 词的最小长度, 默认值为1    
    keywords = tr4w.get_keywords(num=6, word_min_len=2)

    # 返回关键词
    return keywords
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

调用:

if __name__ == "__main__":
    text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \
           "我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \
           "副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \
           "据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \
           "获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \
           "国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \
           "正式将该小行星命名为“周又元星”。"

    #关键词抽取
    keywords=keywords_extraction(text)
    print(keywords)
1
2
3
4
5
6
7
8
9
10
11
12

输出结果:

[{'word': '小行星', 'weight': 0.05808441467341854},
 {'word': '天文台', 'weight': 0.05721653775742513},
 {'word': '命名', 'weight': 0.0485177005159723},
 {'word': '中国', 'weight': 0.045716478124251815},
 {'word': '中国科学院', 'weight': 0.037818937836996636},
 {'word': '国家', 'weight': 0.03438059254484016}]
1
2
3
4
5
6

关键短语抽取(keyphrase extraction)：关键短语抽取: 关键词抽取结束后, 可以得到N个关键词, 在原始文本中相邻的关键词便构成了关键短语.
具体方法: 分析get_keyphrases()函数可知, 内部实现上先调用get_keywords()得到关键词, 然后分析关键词是否存在相邻的情况, 最后即可确定哪些是关键短语.

from textrank4zh import TextRank4Keyword, TextRank4Sentence

#关键短语抽取
def keyphrases_extraction(text):
    tr4w = TextRank4Keyword()

    tr4w.analyze(text=text, window=2, lower=True, vertex_source='all_filters',
                 edge_source='no_stop_words', pagerank_config={'alpha': 0.85, })

    # keywords_num: 抽取的关键词数量
    # min_occur_num: 关键短语在文中的最少出现次数
    keyphrases = tr4w.get_keyphrases(keywords_num=6, min_occur_num=1)

    # 返回关键短语
    return keyphrases
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

调用：

if __name__ == "__main__":
    text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \
           "我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \
           "副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \
           "据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \
           "获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \
           "国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \
           "正式将该小行星命名为“周又元星”。"

    #关键短语抽取
    keyphrases=keyphrases_extraction(text)
    print(keyphrases)
1
2
3
4
5
6
7
8
9
10
11
12

输出结果::

['小行星命名']
1

关键句抽取(sentence extraction):关键句抽取: 句子抽取任务主要就是为了解决自动文本摘要任务, 将每一个sentence作为一个顶点, 根据两个句子之间的内容重复程度来计算他们之间的相似度. 由于不同的句子对之间相似度大小不同, 因此最终构建的是以相似度大小作为edge权重的有权图.

from textrank4zh import TextRank4Keyword, TextRank4Sentence

#关键句抽取
def keysentences_extraction(text):
    tr4s = TextRank4Sentence()

    # text: 文本内容, 字符串
    # lower: 是否将英文文本转换为小写, 默认值为False
    # source: 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来生成句子之间的相似度
    #         默认值为'all_filters', 可选值为'no_filter', 'no_stop_words', 'all_filters'
    tr4s.analyze(text, lower=True, source='all_filters')

    # 获取最重要的num个长度大于等于sentence_min_len的句子用来生成摘要
    keysentences = tr4s.get_key_sentences(num=3, sentence_min_len=6)

    # 返回关键句子
    return keysentences
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

调用:

if __name__ == "__main__":
    text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \
           "我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \
           "副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \
           "据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \
           "获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \
           "国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \
           "正式将该小行星命名为“周又元星”。"

    #关键句抽取
    keysentences=keysentences_extraction(text)
    print(keysentences)
1
2
3
4
5
6
7
8
9
10
11
12

输出结果:

[{'index': 4, 'sentence': '2018年9月25日，经国家天文台申报，国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，正式将该小行星命名为“周又元星”', 'weight': 0.2281040325096452},
 {'index': 3, 'sentence': '”据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，获得国际永久编号第120730号', 'weight': 0.2106246105971721},
 {'index': 1, 'sentence': '4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂', 'weight': 0.2020923401661083}]
1
2
3

基于jieba的TextRank算法

jieba工具不仅仅可以用来分词, 进行词性分析. 也可以用来完成TextRank.

import jieba.analyse

def jieba_keywords_textrank(text):
    keywords = jieba.analyse.textrank(text, topK=6)
    return keywords
1
2
3
4
5

调用：

if __name__ == "__main__":
    text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \
           "我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \
           "副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \
           "据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \
           "获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \
           "国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \
           "正式将该小行星命名为“周又元星”。"

    # 基于jieba的textrank算法实现
    keywords = jieba_keywords_textrank(text)
    print(keywords)
1
2
3
4
5
6
7
8
9
10
11
12

输出结果:

['小行星', '命名', '国际', '中国', '国家', '天文学家']
1

总结：介绍了TextRank算法的来源和核心思想, 并通过代码实践, 依次提取关键词, 关键短语, 关键句. 利用textrank4zh工具和jieba工具来实现TextRank, 既方便又好用.