当前位置:   article > 正文

NLP:HanLP的下载与使用_hanlp下载使用

hanlp下载使用

昨天说到要做一个自定义的训练模型,但是很快这个想法就被扑灭了,因为这个手工标记的成本太大,而且我的上级并不是想要我做这个场景,而是希望我通过这个场景展示出可以接下最终需求的能力。换句话来说:可以,但是没必要。

所以我来github上找找有没有现成的模型可以使用,这不,让我发现了一个更适合新手宝宝使用的模型--HanLP,废话少说,咱们直接上干货:

HanLP下载

我们以文档的代码为例讲解一下结果:

  HanLP最终输出的是一个标准的字典类型,一开始看到结果的小伙伴可能会有点懵,key值结合上面这个表就好懂了哈,比如:tok/fine: tok是分词,coarse为粗分,fine为细分

 而且文档中还有许多底下代码没有使用的功能,因为我们用的是restful版本,所以其实几乎所有功能我们都可以使用,只需要点击对应功能的教程就可以了:

 下面附上实战代码:

  1. from hanlp_restful import HanLPClient
  2. import sys
  3. import os
  4. HanLP = HanLPClient('https://www.hanlp.com/api', auth="你自己申请的密钥", language='zh') # auth不填则匿名,zh中文,mul多语种
  5. data="你要解析的文本"
  6. ##获取最基本的信息
  7. # info = HanLP.parse(data)
  8. # print("细分效果{}".format(info["tok/fine"]))
  9. # print("粗分效果{}".format(info["tok/coarse"]))
  10. #抽象意义表示
  11. # abstact = HanLP.abstract_meaning_representation(data)
  12. # print("抽象意义表示{}".format(abstact))
  13. # #生成式摘要(这个效果不太好)
  14. # active_summary = HanLP.abstractive_summarization(data)
  15. # print("生成式摘要:{}".format(active_summary))
  16. # #抽取式摘要
  17. # extarct_summary = HanLP.extractive_summarization(data, topk=3)
  18. # print("抽取式摘要:{}".format(extarct_summary))
  19. # #提取关键词
  20. # key = HanLP.keyphrase_extraction(data)
  21. # print("关键词:{}".format(key))
  22. # #文本分类
  23. # class_text = HanLP.text_classification(data, model='news_zh', topk=True, prob=True)
  24. # print("文本分类:{}".format(class_text))

下一小节我们将介绍如何计算文本相似度

声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号