Java分布式中文分词组件 - word分词（转自 https //github com/ysc/word）_org.apdplat.word.analysis.simhashplushammingdistan

               

###Java分布式中文分词组件 - word分词

####word分词是一个Java实现的分布式的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。能准确识别英文、数字，以及日期、时间等数量词，能识别人名、地名、组织机构名等未登录词。能通过自定义配置文件来改变组件行为，能自定义用户词库、自动检测词库变化、支持大规模分布式环境，能灵活指定多种分词算法，能使用refine功能灵活控制分词结果，还能使用词频统计、词性标注、同义标注、反义标注、拼音标注等功能。提供了10种分词算法，还提供了10种文本相似度算法，同时还无缝和Lucene、Solr、ElasticSearch、Luke集成。注意：word1.3需要JDK1.8

###捐赠致谢

###API在线文档：

word 1.0 API

word 1.1 API

word 1.2 API

word 1.3 API

###编译好的jar包下载

###Maven依赖：

在pom.xml中指定dependency，可用版本有1.0、1.1、1.2、1.3、1.3.1：

<dependencies> <dependency>  <groupId>org.apdplat</groupId>  <artifactId>word</artifactId>  <version>1.3</version> </dependency></dependencies>
1

word 1.3.1这个版本是从代码分支ForElasticsearch1.7.2中编译出来的，主要目的是支持 与lucene4.10.4、solr4.10.4和elasticsearch1.7.2兼容的版本。

###分词使用方法：

####1、快速体验

运行项目根目录下的脚本demo-word.bat可以快速体验分词效果用法: command [text] [input] [output]命令command的可选值为：demo、text、filedemotext 杨尚川是APDPlat应用级产品开发平台的作者file d:/text.txt d:/word.txtexit
1

####2、对文本进行分词

移除停用词：List<Word> words = WordSegmenter.seg("杨尚川是APDPlat应用级产品开发平台的作者");保留停用词：List<Word> words = WordSegmenter.segWithStopWords("杨尚川是APDPlat应用级产品开发平台的作者");   System.out.println(words);输出：移除停用词：[杨尚川, apdplat, 应用级, 产品, 开发平台, 作者]保留停用词：[杨尚川, 是, apdplat, 应用级, 产品, 开发平台, 的, 作者]
1

####3、对文件进行分词

String input = "d:/text.txt";String output = "d:/word.txt";移除停用词：WordSegmenter.seg(new File(input), new File(output));保留停用词：WordSegmenter.segWithStopWords(new File(input), new File(output));
1

####4、自定义配置文件

默认配置文件为类路径下的word.conf，打包在word-x.x.jar中自定义配置文件为类路径下的word.local.conf，需要用户自己提供如果自定义配置和默认配置相同，自定义配置会覆盖默认配置配置文件编码为UTF-8
1

####5、自定义用户词库

自定义用户词库为一个或多个文件夹或文件，可以使用绝对路径或相对路径用户词库由多个词典文件组成，文件编码为UTF-8词典文件的格式为文本文件，一行代表一个词可以通过系统属性或配置文件的方式来指定路径，多个路径之间用逗号分隔开类路径下的词典文件，需要在相对路径前加入前缀classpath: 指定方式有三种： 指定方式一，编程指定（高优先级）：  WordConfTools.set("dic.path", "classpath:dic.txt，d:/custom_dic");  DictionaryFactory.reload();//更改词典路径之后，重新加载词典 指定方式二，Java虚拟机启动参数（中优先级）：  java -Ddic.path=classpath:dic.txt，d:/custom_dic 指定方式三，配置文件指定（低优先级）：  使用类路径下的文件word.local.conf来指定配置信息  dic.path=classpath:dic.txt，d:/custom_dic如未指定，则默认使用类路径下的dic.txt词典文件
1

####6、自定义停用词词库

使用方式和自定义用户词库类似，配置项为：stopwords.path=classpath:stopwords.txt，d:/custom_stopwords_dic
1

####7、自动检测词库变化

可以自动检测自定义用户词库和自定义停用词词库的变化包含类路径下的文件和文件夹、非类路径下的绝对路径和相对路径如：classpath:dic.txt，classpath:custom_dic_dir,d:/dic_more.txt，d:/DIC_DIR，D:/DIC2_DIR，my_dic_dir，my_dic_file.txtclasspath:stopwords.txt，classpath:custom_stopwords_dic_dir，d:/stopwords_more.txt，d:/STOPWORDS_DIR，d:/STOPWORDS2_DIR，stopwords_dir，remove.txt
1

####8、显式指定分词算法

对文本进行分词时，可显式指定特定的分词算法，如：WordSegmenter.seg("APDPlat应用级产品开发平台", SegmentationAlgorithm.BidirectionalMaximumMatching);SegmentationAlgorithm的可选类型为：  正向最大匹配算法：MaximumMatching逆向最大匹配算法：ReverseMaximumMatching正向最小匹配算法：MinimumMatching逆向最小匹配算法：ReverseMinimumMatching双向最大匹配算法：BidirectionalMaximumMatching双向最小匹配算法：BidirectionalMinimumMatching双向最大最小匹配算法：BidirectionalMaximumMinimumMatching全切分算法：FullSegmentation最少词数算法：MinimalWordCount最大Ngram分值算法：MaxNgramScore
1

####9、分词效果评估

运行项目根目录下的脚本evaluation.bat可以对分词效果进行评估评估采用的测试文本有253 3709行，共2837 4490个字符评估结果位于target/evaluation目录下：corpus-text.txt为分好词的人工标注文本，词之间以空格分隔test-text.txt为测试文本，是把corpus-text.txt以标点符号分隔为多行的结果standard-text.txt为测试文本对应的人工标注文本，作为分词是否正确的标准result-text-***.txt，***为各种分词算法名称，这是word分词结果perfect-result-***.txt，***为各种分词算法名称，这是分词结果和人工标注标准完全一致的文本wrong-result-***.txt，***为各种分词算法名称，这是分词结果和人工标注标准不一致的文本
1

####10、分布式中文分词器

1、在自定义配置文件word.conf或word.local.conf中指定所有的配置项*.path使用HTTP资源，同时指定配置项redis.*2、配置并启动提供HTTP资源的web服务器，将项目：https://github.com/ysc/word_web部署到tomcat3、配置并启动redis服务器
1

####11、词性标注

将分词结果作为输入参数，调用PartOfSpeechTagging类的process方法，词性保存在Word类的partOfSpeech字段中如下所示：List<Word> words = WordSegmenter.segWithStopWords("我爱中国");System.out.println("未标注词性："+words);//词性标注PartOfSpeechTagging.process(words);System.out.println("标注词性："+words);输出内容：未标注词性：[我, 爱, 中国]标注词性：[我/r, 爱/v, 中国/ns]
1

####12、refine

我们看一个切分例子：List<Word> words = WordSegmenter.segWithStopWords("我国工人阶级和广大劳动群众要更加紧密地团结在党中央周围");System.out.println(words);结果如下：[我国, 工人阶级, 和, 广大, 劳动群众, 要, 更加, 紧密, 地, 团结, 在, 党中央, 周围]假如我们想要的切分结果是：[我国, 工人, 阶级, 和, 广大, 劳动, 群众, 要, 更加, 紧密, 地, 团结, 在, 党中央, 周围]也就是要把“工人阶级”细分为“工人 阶级”，把“劳动群众”细分为“劳动 群众”，那么我们该怎么办呢？我们可以通过在word.refine.path配置项指定的文件classpath:word_refine.txt中增加以下内容：工人阶级=工人 阶级劳动群众=劳动 群众然后，我们对分词结果进行refine：words = WordRefiner.refine(words);System.out.println(words);这样，就能达到我们想要的效果：[我国, 工人, 阶级, 和, 广大, 劳动, 群众, 要, 更加, 紧密, 地, 团结, 在, 党中央, 周围]我们再看一个切分例子：List<Word> words = WordSegmenter.segWithStopWords("在实现“两个一百年”奋斗目标的伟大征程上再创新的业绩");System.out.println(words);结果如下：[在, 实现, 两个, 一百年, 奋斗目标, 的, 伟大, 征程, 上, 再创, 新的, 业绩]假如我们想要的切分结果是：[在, 实现, 两个一百年, 奋斗目标, 的, 伟大征程, 上, 再创, 新的, 业绩]也就是要把“两个 一百年”合并为“两个一百年”，把“伟大, 征程”合并为“伟大征程”，那么我们该怎么办呢？我们可以通过在word.refine.path配置项指定的文件classpath:word_refine.txt中增加以下内容：两个 一百年=两个一百年伟大 征程=伟大征程然后，我们对分词结果进行refine：words = WordRefiner.refine(words);System.out.println(words);这样，就能达到我们想要的效果：[在, 实现, 两个一百年, 奋斗目标, 的, 伟大征程, 上, 再创, 新的, 业绩]
1

####13、同义标注

List<Word> words = WordSegmenter.segWithStopWords("楚离陌千方百计为无情找回记忆");System.out.println(words);结果如下：[楚离陌, 千方百计, 为, 无情, 找回, 记忆]做同义标注：SynonymTagging.process(words);System.out.println(words);结果如下：[楚离陌, 千方百计[久有存心, 化尽心血, 想方设法, 费尽心机], 为, 无情, 找回, 记忆[影象]]如果启用间接同义词：SynonymTagging.process(words, false);System.out.println(words);结果如下：[楚离陌, 千方百计[久有存心, 化尽心血, 想方设法, 费尽心机], 为, 无情, 找回, 记忆[影像, 影象]]List<Word> words = WordSegmenter.segWithStopWords("手劲大的老人往往更长寿");System.out.println(words);结果如下：[手劲, 大, 的, 老人, 往往, 更, 长寿]做同义标注：SynonymTagging.process(words);System.out.println(words);结果如下：[手劲, 大, 的, 老人[白叟], 往往[常常, 每每, 经常], 更, 长寿[长命, 龟龄]]如果启用间接同义词：SynonymTagging.process(words, false);System.out.println(words);结果如下：[手劲, 大, 的, 老人[白叟], 往往[一样平常, 一般, 凡是, 寻常, 常常, 常日, 平凡, 平居, 平常, 平日, 平时, 往常, 日常, 日常平凡, 时常, 普通, 每每, 泛泛, 素日, 经常, 通俗, 通常], 更, 长寿[长命, 龟龄]]以词“千方百计”为例：可以通过Word的getSynonym()方法获取同义词如：System.out.println(word.getSynonym());结果如下：[久有存心, 化尽心血, 想方设法, 费尽心机]注意：如果没有同义词，则getSynonym()返回空集合：Collections.emptyList()间接同义词和直接同义词的区别如下：假设：A和B是同义词，A和C是同义词，B和D是同义词，C和E是同义词则：对于A来说，A B C是直接同义词对于B来说，A B D是直接同义词对于C来说，A C E是直接同义词对于A B C来说，A B C D E是间接同义词
1

####14、反义标注

List<Word> words = WordSegmenter.segWithStopWords("5月初有哪些电影值得观看");System.out.println(words
1