赞
踩
HanLP(Han Language Processing)是由一系列模型与算法组成的Java工具包,目标是普及自然语言处理在生产环境中的应用。
HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。
环境搭建
1.创建java项目,导入HanLP必要的包
2.把对应的配置文件放置在src下
3.修改hanlp.properties配置文件,使其指向data(data中包含词典和模型)的上级路径,修改如下,
代码运行
1.第一个Demo
System.out.println(HanLP.segment("你好,欢迎使用HanLP汉语处理包!"));
//标准分词
List standardList = StandardTokenizer.segment("商品和服务");
System.out.println(standardList);
结果:
注意:HanLP.segment其实是对StandardTokenizer.segment的包装。
2.索引分词
List indexList = IndexTokenizer.segment("主副食品");
for (Term term : indexList)
{
System.out.println(term + " [" + term.offset + ":" + (term.offset + term.word.length()) + "]");
}
结果:
注意:索引分词IndexTokenizer是面向搜索引擎的分词器,能够对长词全切分,另外通过term.offset可以获取单词在文本中的偏移量。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。