devbox
羊村懒王
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

TextRank算法介绍及实现

作者：羊村懒王 | 2024-05-04 01:12:49

赞

踩

textrank

目录

1、PageRank算法

2、TextRank算法

（1）关键词抽取（keyword extraction）

（2）关键短语抽取（keyphrase extration）

（3）关键句抽取（sentence extraction）

3、TextRank算法实现

（1）基于Textrank4zh的TextRank算法实现

（2）基于jieba的TextRank算法实现

（3）基于SnowNLP的TextRank算法实现

4、PageRank算法与TextRank算法的区别

1、PageRank算法

PageRank算法通过计算网页链接的数量和质量来粗略估计网页的重要性，算法创立之初即应用在谷歌的搜索引擎中，对网页进行排名。 

PageRank算法的核心思想如下：

（1）链接数量：如果一个网页被越多的其他网页链接，说明这个网页越重要，即该网页的PR值（PageRank值）会相对较高；

（2）链接质量：如果一个网页被一个越高权值的网页链接，也能表明这个网页越重要，即一个PR值很高的网页链接到一个其他网页，那么被链接到的网页的PR值会相应地因此而提高。

PageRank算法计算公式：

PageRank算法论文：The PageRank Citation Ranking: Bringing Order to the Web

2、TextRank算法

TextRank算法是一种基于图的用于关键词抽取和文档摘要的排序算法，由谷歌的网页重要性排序算法PageRank算法改进而来，它利用一篇文档内部的词语间的共现信息(语义)便可以抽取关键词，它能够从一个给定的文本中抽取出该文本的关键词、关键词组，并使用抽取式的自动文摘方法抽取出该文本的关键句。

TextRank算法的基本思想是将文档看作一个词的网络，该网络中的链接表示词与词之间的语义关系。

TextRank算法计算公式：

TextRank算法论文：TextRank: Bringing Order into Texts

TextRank算法主要包括：关键词抽取、关键短语抽取、关键句抽取。

（1）关键词抽取（keyword extraction）

关键词抽取是指从文本中确定一些能够描述文档含义的术语的过程。对关键词抽取而言，用于构建顶点集的文本单元可以是句子中的一个或多个字；根据这些字之间的关系（比如：在一个框中同时出现）构建边。根据任务的需要，可以使用语法过滤器（syntactic filters）对顶点集进行优化。语法过滤器的主要作用是将某一类或者某几类词性的字过滤出来作为顶点集。

（2）关键短语抽取（keyphrase extration）

关键词抽取结束后，我们可以得到的N个关键词，在原始文本中相邻的关键词构成关键短语。因此，从get_keyphrases函数的源码中我们可以看到，它先调用get_keywords抽取关键词，然后分析关键词是否存在相邻的情况，最后确定哪些是关键短语。

（3）关键句抽取（sentence extraction）

句子抽取任务主要针对的是自动摘要这个场景，将每一个sentence作为一个顶点，根据两个句子之间的内容重复程度来计算他们之间的“相似度”，以这个相似度作为联系，由于不同句子之间相似度大小不一致，在这个场景下构建的是以相似度大小作为edge权重的有权图。

3、TextRank算法实现

（1）基于Textrank4zh的TextRank算法实现

  1. # coding=utf-8
  2. from textrank4zh import TextRank4Keyword, TextRank4Sentence
  3. import jieba.analyse
  4. from snownlp import SnowNLP
  5. import pandas as pd
  6. import numpy as np
  7.  
  8. #关键词抽取
  9. def keywords_extraction(text):
  10.     tr4w = TextRank4Keyword(allow_speech_tags=['n', 'nr', 'nrfg', 'ns', 'nt', 'nz'])
  11.     # allow_speech_tags   --词性列表，用于过滤某些词性的词
  12.     tr4w.analyze(text=text, window=2, lower=True, vertex_source='all_filters', edge_source='no_stop_words',
  13.                  pagerank_config={'alpha': 0.85, })
  14.     # text    --  文本内容，字符串
  15.     # window  --  窗口大小，int，用来构造单词之间的边。默认值为2
  16.     # lower   --  是否将英文文本转换为小写，默认值为False
  17.     # vertex_source  -- 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来构造pagerank对应的图中的节点
  18.     #                -- 默认值为`'all_filters'`，可选值为`'no_filter', 'no_stop_words', 'all_filters'
  19.     # edge_source  -- 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来构造pagerank对应的图中的节点之间的边
  20.     #              -- 默认值为`'no_stop_words'`，可选值为`'no_filter', 'no_stop_words', 'all_filters'`。边的构造要结合`window`参数
  21.  
  22.     # pagerank_config  -- pagerank算法参数配置，阻尼系数为0.85
  23.     keywords = tr4w.get_keywords(num=6, word_min_len=2)
  24.     # num           --  返回关键词数量
  25.     # word_min_len  --  词的最小长度，默认值为1
  26.     return keywords
  27.  
  28. #关键短语抽取
  29. def keyphrases_extraction(text):
  30.     tr4w = TextRank4Keyword()
  31.     tr4w.analyze(text=text, window=2, lower=True, vertex_source='all_filters', edge_source='no_stop_words',
  32.                  pagerank_config={'alpha': 0.85, })
  33.     keyphrases = tr4w.get_keyphrases(keywords_num=6, min_occur_num=1)
  34.     # keywords_num    --  抽取的关键词数量
  35.     # min_occur_num   --  关键短语在文中的最少出现次数
  36.     return keyphrases
  37.  
  38. #关键句抽取
  39. def keysentences_extraction(text):
  40.     tr4s = TextRank4Sentence()
  41.     tr4s.analyze(text, lower=True, source='all_filters')
  42.     # text    -- 文本内容，字符串
  43.     # lower   -- 是否将英文文本转换为小写，默认值为False
  44.     # source  -- 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来生成句子之间的相似度。
  45.     # 		  -- 默认值为`'all_filters'`，可选值为`'no_filter', 'no_stop_words', 'all_filters'
  46.     # sim_func -- 指定计算句子相似度的函数
  47.  
  48.     # 获取最重要的num个长度大于等于sentence_min_len的句子用来生成摘要
  49.     keysentences = tr4s.get_key_sentences(num=3, sentence_min_len=6)
  50.     return keysentences
  51.  
  52.  
  53. def keywords_textrank(text):
  54.     keywords = jieba.analyse.textrank(text, topK=6)
  55.     return keywords
  56.  
  57.  
  58. if __name__ == "__main__":
  59.     text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \
  60.            "我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \
  61.            "副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \
  62.            "据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \
  63.            "获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \
  64.            "国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \
  65.            "正式将该小行星命名为“周又元星”。"
  66.     #关键词抽取
  67.     keywords=keywords_extraction(text)
  68.     print(keywords)
  69.  
  70.     #关键短语抽取
  71.     keyphrases=keyphrases_extraction(text)
  72.     print(keyphrases)
  73.  
  74.     #关键句抽取
  75.     keysentences=keysentences_extraction(text)
  76.     print(keysentences)

运行结果：

（2）基于jieba的TextRank算法实现

  1. if __name__ == "__main__":
  2.     text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \
  3.            "我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \
  4.            "副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \
  5.            "据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \
  6.            "获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \
  7.            "国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \
  8.            "正式将该小行星命名为“周又元星”。"
  9.  
  10.     # 基于jieba的textrank算法实现
  11.     keywords=keywords_textrank(text)
  12.     print(keywords)

运行结果：

（3）基于SnowNLP的TextRank算法实现

  1.     # 基于SnowNLP的textrank算法实现
  2.     snlp=SnowNLP(text)
  3.     print(snlp.keywords(6))  #关键词抽取
  4.     print(snlp.summary(3))   #关键句抽取

运行结果：

4、PageRank算法与TextRank算法的区别

  • PageRank算法根据网页之间的链接关系构造网络，TextRank算法根据词之间的共现关系构造网络；
  • PageRank算法构造的网络中的边是有向无权边，TextRank算法构造的网络中的边是无向有权边。

参考：TextRank算法的基本原理及textrank4zh使用实例

本人博文NLP学习内容目录：

一、NLP基础学习

1、NLP学习路线总结

2、TF-IDF算法介绍及实现

3、NLTK使用方法总结

4、英文自然语言预处理方法总结及实现

5、中文自然语言预处理方法总结及实现

6、NLP常见语言模型总结

7、NLP数据增强方法总结及实现

8、TextRank算法介绍及实现

9、NLP关键词提取方法总结及实现

10、NLP词向量和句向量方法总结及实现

11、NLP句子相似性方法总结及实现

12、NLP中文句法分析

二、NLP项目实战

1、项目实战-英文文本分类-电影评论情感判别

2、项目实战-中文文本分类-商品评论情感判别

3、项目实战-XGBoost与LightGBM文本分类

4、项目实战-TextCNN文本分类实战

5、项目实战-Bert文本分类实战

6、项目实战-NLP中文句子类型判别和分类实战

交流学习资料共享欢迎入群：955817470（群一），801295159（群二）

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/532388
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号