当前位置:   article > 正文

elasticsearch安装和使用ik分词器,分享Java资深架构师的成长之路_elasticsearch 安装ik分词器

elasticsearch 安装ik分词器

“token”: “程”,

“start_offset”: 6,

“end_offset”: 7,

type”: “”,

“position”: 6

},

{

“token”: “师”,

“start_offset”: 7,

“end_offset”: 8,

“type”: “”,

“position”: 7

}

]

}

为了词项搜索能得到我们想要的结果,需要换一个分词器,理想的分词效果应该是"我们"、“是”、“软件”、“工程师”,ik分词器可以满足我们的要求,接下来开始实战;

注意事项

  1. 下面的所有操作都使用es账号来进行,不要用root账号;

  2. 编译ik分词器需要用到maven,如果您有docker,但是不想安装maven,可以参考《没有JDK和Maven,用Docker也能构建Maven工程》来编译工程;

下载IK分词器源码到Ubuntu

  1. 登录ik分词器网站:https://github.com/medcl/elasticsearch-analysis-ik

  2. 按照网站提供的版本对应表,确认我们要使用的分词器版本,很遗憾写文章的时候还没有匹配elasticsearch-6.5.0的版本,那就用master吧,也就是下图中的红框版本:

在这里插入图片描述

  1. 如下图,点击下载zip文件:

在这里插入图片描述

  1. 将下载的zip包放到Ubuntu机器上,解压后是个名为elasticsearch-analysis-ik-master的文件夹,在此文件夹下执行以下命令,即可开始构建ik分词器工程:

mvn clean package -U -DskipTests

  1. 等待编译完成后,在target/release目录下会生产名为elasticsearch-analysis-ik-6.5.0.zip的文件,如下所示:

$ pwd

/usr/local/work/es/elasticsearch-analysis-ik-master

$ cd target/

$ ls

archive-tmp elasticsearch-analysis-ik-6.5.0.jar generated-sources maven-status

classes elasticsearch-analysis-ik-6.5.0-sources.jar maven-archiver releases

$ cd releases/

$ ls

elasticsearch-analysis-ik-6.5.0.zip

  1. 停止集群中所有机器的elasticsearch进程,在所有机器上做这些操作:在elasticsearch的plugins目录下创建名为ik的目录,再将上面生成的elasticsearch-analysis-ik-6.5.0.zip文件复制到这个新创建的ik目录下;

  2. 在elasticsearch-analysis-ik-6.5.0.zip所在文件夹下,执行目录unzip elasticsearch-analysis-ik-6.5.0.zip进行解压;

  3. 确认elasticsearch-analysis-ik-6.5.0.zip已经复制到每个elasticsearch的plugins/ik目录下并解压后,将所有elasticsearch启动,可以发现控制台上会输出ik分词器被加载的信息,如下图所示:

在这里插入图片描述

至此,ik分词器安装完成,来验证一下吧;

验证ik分词器

  1. 在postman发起请求,在json中通过tokenizer指定分词器:

POST test002/_analyze?pretty=true

{

“text”:“我们是软件工程师”,

“tokenizer”:“ik_max_word”

}

这一次得到了分词的效果:

{

“tokens”: [

{

“token”: “我们”,

“start_offset”: 0,

“end_offset”: 2,

“type”: “CN_WORD”,

“position”: 0

},

{

“token”: “是”,

“start_offset”: 2,

“end_offset”: 3,

“type”: “CN_CHAR”,

“position”: 1

},

{

“token”: “软件工程”,

“start_offset”: 3,

“end_offset”: 7,

“type”: “CN_WORD”,

“position”: 2

},

{

“token”: “软件”,

“start_offset”: 3,

“end_offset”: 5,

“type”: “CN_WORD”,

“position”: 3

},

{

“token”: “工程师”,

“start_offset”: 5,

“end_offset”: 8,

“type”: “CN_WORD”,

“position”: 4

},

{

“token”: “工程”,

“start_offset”: 5,

“end_offset”: 7,

“type”: “CN_WORD”,

“position”: 5

},

{

“token”: “师”,

“start_offset”: 7,

“end_offset”: 8,

“type”: “CN_CHAR”,

“position”: 6

}

]

}

可见所有可能形成的词语都被分了出来,接下试试ik分词器的另一种分词方式ik_smart;

2. 使用ik_smart方式分词的请求如下:

shellshell

POST test002/_analyze?pretty=true

{

“text”:“我们是软件工程师”,

“tokenizer”:“ik_smart”

}

这一次得到了分词的效果:

{

“tokens”: [

{

“token”: “我们”,

“start_offset”: 0,

“end_offset”: 2,

“type”: “CN_WORD”,

“position”: 0

},

{

“token”: “是”,

“start_offset”: 2,

“end_offset”: 3,

“type”: “CN_CHAR”,

“position”: 1

},

{

“token”: “软件”,

“start_offset”: 3,

“end_offset”: 5,

“type”: “CN_WORD”,

“position”: 2

},

{

“token”: “工程师”,

“start_offset”: 5,

“end_offset”: 8,

“type”: “CN_WORD”,

“position”: 3

}

]

}

可见ik_smart的特点是将原句做拆分,不会因为各种组合出现部分的重复,以下是来自官方的解释:

ik_max_word 和 ik_smart 什么区别?

ik_max_word: 会将文本做最细粒度的拆分,比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”,会穷尽各种可能的组合;

ik_smart: 会做最粗粒度的拆分,比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”。

验证搜索

前面通过http请求验证了分词效果,现在通过搜索来验证分词效果;

  1. 通过静态mapping的方式创建索引,指定了分词器和分词方式:

PUT test003

{

“mappings”: {

“article”: {

“dynamic”: false,

“properties”: {

“title”: {

“type”: “keyword”

},

“content”: {

“type”: “text”,

“analyzer”: “ik_max_word”,

“search_analyzer”: “ik_max_word”

}

}

}

}

}

创建成功会收到以下响应:

小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数初中级Java工程师,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
img
img
img

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注Java)
img

那么如何才能正确的掌握Redis呢?

为了让大家能够在Redis上能够加深,所以这次给大家准备了一些Redis的学习资料,还有一些大厂的面试题,包括以下这些面试题

  • 并发编程面试题汇总

  • JVM面试题汇总

  • Netty常被问到的那些面试题汇总

  • Tomcat面试题整理汇总

  • Mysql面试题汇总

  • Spring源码深度解析

  • Mybatis常见面试题汇总

  • Nginx那些面试题汇总

  • Zookeeper面试题汇总

  • RabbitMQ常见面试题汇总

JVM常频面试:

Redis高频面试笔记:基础+缓存雪崩+哨兵+集群+Reids场景设计

Mysql面试题汇总(一)

Redis高频面试笔记:基础+缓存雪崩+哨兵+集群+Reids场景设计

Mysql面试题汇总(二)

Redis高频面试笔记:基础+缓存雪崩+哨兵+集群+Reids场景设计

Redis常见面试题汇总(300+题)

Redis高频面试笔记:基础+缓存雪崩+哨兵+集群+Reids场景设计

is上能够加深,所以这次给大家准备了一些Redis的学习资料,还有一些大厂的面试题,包括以下这些面试题

  • 并发编程面试题汇总

  • JVM面试题汇总

  • Netty常被问到的那些面试题汇总

  • Tomcat面试题整理汇总

  • Mysql面试题汇总

  • Spring源码深度解析

  • Mybatis常见面试题汇总

  • Nginx那些面试题汇总

  • Zookeeper面试题汇总

  • RabbitMQ常见面试题汇总

JVM常频面试:

[外链图片转存中…(img-paz4zAuK-1711391406447)]

Mysql面试题汇总(一)

[外链图片转存中…(img-g758y8jE-1711391406448)]

Mysql面试题汇总(二)

[外链图片转存中…(img-NiBBMPtX-1711391406448)]

Redis常见面试题汇总(300+题)

[外链图片转存中…(img-2sRHotnx-1711391406448)]

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号