赞
踩
ES作为全文检索服务,势必要对原始的文本进行内容的拆分,才能进行有效的索引。而拆分原始内容到一个一个小的词,或语义单元,这部分的功能由ES的分词器去完成的。
standard:ES默认的分词器,会将词汇单元进行小写形式,并且去除一些停用词和标点符号等等。支持中文,采用的方法为单字切分。
simple:该分词器首先通过非字母字符来分割文本信息,然后将词汇单元统一为小写形式。该分词器会去除掉数字类型的一些字符。
whitespace:仅仅是去除空格,然后对字符没有任何的小写化,并且该分词器不支持中文,而且它对生成的词汇单元没有作其他的一些标准化的处理。
language:特定语言的分词器,目前该分词器也是不支持中文的。
IK分词器是目前ES开源社区对于中文分词支持最好的第三方的插件。
首先,我们下载IK分词器插件。
IK分词器github地址为:
https://github.com/medcl/elasticsearch-analysis-ik
点击右下角releases
然后找到ES对应的版本,点击Assets,然后点击下载zip包。
下载完之后解压到elasticsearch-6.8.23\plugins\目录下
然后重启ES,IK分词器才会生效。
IK分词器插件默认提供了两种分词器:
ik_smart
ik_max_word
那么,为什么IK分词器对于中文有如此本地化的理解呢,原因是IK分词器内置了很多字典。
如果某个词没被分词成功,则在字典里添加重启即可。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。