IK分词器_ik分词器是什么

什么是IK分词器

Ik分词器就是一款中文分词器。
分词：把一段文字划分成一个个关键字，我们在搜索的时候会对自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一个匹配操作。

默认的中文分词会将每个字看成一个词，比如“我是天才“会被分成 我、是、天、才，这显然是不符合要求的，可能我们需要分成 我、是、天才、我是天才，所以我们需要安装Ik分词器来解决这个问题。

如果要对中文进行分词，建议使用Ik分词器。

IK分词器提供了两个分词算法。
ik_smart ：最少切分。
ik_max_word：最细粒度切分。

安装

GitHub地址：
https://github.com/medcl/elasticsearch-analysis-ik/

注意注意：
别下载下图的压缩包。

而是下载下面说明的地址的安装包：

https://github.com/medcl/elasticsearch-analysis-ik/releases

版本选择：

左边是IK的版本，右边是Es的版本。一般来说尽量就下载跟ES一样版本的IK就好。

第二步：
下载好之后，在es目录的plugins目录下新建一个ik目录，然后把压缩包复制进去，解压，最后重启ES即可。

可以使用命令：elasticsearch-plugin list 查看插件是否安装成功。

插件测试

这里就配合Kibana配置Rest风格的Api进行测试。

GET _analyze
{
  "analyzer": "ik_smart",    ###指定使用的分词器
  "text": "美国留给伊拉克的是个烂摊子吗"   ####要进行分词的内容
}

1
2
3
4
5
6

结果：

把“美国留给伊拉克的是个烂摊子吗”这段话进行分词，分为了若干个字、词，IK分词器会在内部维护一个词典，分词算法就是根据该词典作为基础进行分词，也可以手动添加自定义的词典。

添加自定义词典：

在ik/config目录下有个文件叫IKAnalyzer.cfg.xml的配置文件。


打开任意一个词典看看内容：

可以看出词典每个词占一行，由此，我们创建自己的词典文件。内容如下：

文件名为custom.dic

IKAnalyzer.cfg.xml文件内容

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>

	<!-- 使用key来指定引用的字典的类型   -->
	<!-- ext_dict表示配置本地扩展字典   -->
	<!-- ext_stopwords表示配置扩展的停止词字典   -->
	<!-- remote_ext_dict表示配置 远程扩展字典  -->
	<!-- remote_ext_stopwords表示配置 远程扩展停止词字典  -->
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict"></entry>
	 <!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords"></entry>
	<!--用户可以在这里配置远程扩展字典 -->
	<!-- <entry key="remote_ext_dict">words_location</entry> -->
	<!--用户可以在这里配置远程扩展停止词字典-->
	<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

我们一般配置本地字典。

重启es和Kibana。

再次测试分词情况：

同样的情况，与上面的结果不一样了，因为我们用字典配置了“美国留给伊拉克的是个烂摊子吗”是一个词。而ik_smart分词算法是最小切分算法，会把内容依据字典尽可能少进行切分，因为“美国留给伊拉克的是个烂摊子吗”已经是一个词了，所以就干脆不切分了。

ik_smart分词算法切割的词是不会重复的，比如分“我爱你呀” ，可能会切分成我爱 和你呀，但不会切分成 “我爱”、“爱你”、“呀”，因为我爱和爱你的爱字重复使用了，也就是一个字只会被切分到某个词上。把爱跟我组合了，那这个爱字就不会跟其他字组合了，仅仅是这个爱字，如果内容有多个爱字，那么其他爱字不会受影响。

使用ik_max_word分词算法进行分词。

该分词算法是最细粒度切分算法。
结果：

切分成了很多个词，并且会重复，该算法就是根据词典把所有的词都切分出来。