当前位置:   article > 正文

HanLP汉语言分析框架_hanlp汉语言分析框架maven

hanlp汉语言分析框架maven

 HanLP(Han Language Processing)是由一系列模型与算法组成的Java工具包,目标是普及自然语言处理在生产环境中的应用。

HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

环境搭建

1.创建java项目,导入HanLP必要的包
image

2.把对应的配置文件放置在src下

image

3.修改hanlp.properties配置文件,使其指向data(data中包含词典和模型)的上级路径,修改如下,

image

代码运行

1.第一个Demo

System.out.println(HanLP.segment("你好,欢迎使用HanLP汉语处理包!"));
//标准分词
List standardList = StandardTokenizer.segment("商品和服务");
System.out.println(standardList);
结果:

image

注意:HanLP.segment其实是对StandardTokenizer.segment的包装。

2.索引分词

List indexList = IndexTokenizer.segment("主副食品");
for (Term term : indexList)
{
System.out.println(term + " [" + term.offset + ":" + (term.offset + term.word.length()) + "]");
}
结果:
image

注意:索引分词IndexTokenizer是面向搜索引擎的分词器,能够对长词全切分,另外通过term.offset可以获取单词在文本中的偏移量。

原文链接

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/604488
推荐阅读
相关标签
  

闽ICP备14008679号