当前位置:   article > 正文

elasticSearch搜索引擎安装使用,SprignBoot整合Spring Data Elasticsearch,百度云 Elasticsearch安装包_elasticsearch搜索引擎构建入门与实战 百度云盘

elasticsearch搜索引擎构建入门与实战 百度云盘

 * 启动可视化页面:
 
            E:\Elasticsearch\elasticsearch\elasticsearch-head-master>   执行 grunt server  或者 npm run start
 
 * 启动Elasticsearch 
            E:\Elasticsearch\elasticsearch\elasticsearch-6.2.4\bin  elasticsearch.bat
            
* 启动logstash 同步 数据库需要配置        

    E:\Elasticsearch\elasticsearch\logstash-7.8.1\bin>logstash -f ../mysqletc/mysql.conf
        
            
 * http://127.0.0.1:9200/ 启动确认
 * http://127.0.0.1:9100/ 页面
 * 9300 后台调用端口

1.Elasticsearch介绍和安装

在这里插入图片描述
本文章所有安装包百度云链接:

链接: https://pan.baidu.com/s/18Fy-IpiGvopHi_vg5KmTZQ 提取码: 5gx5

1.1.简介

在这里插入图片描述

1.1.1.Elastic

Elastic官网:https://www.elastic.co/cn/

Elastic有一条完整的产品线:Elasticsearch、Kibana、Logstash等,前面说的三个就是大家常说的ELK技术栈。
在这里插入图片描述

1.1.2.Elasticsearch

Elasticsearch官网:https://www.elastic.co/cn/products/elasticsearch
在这里插入图片描述

如上所述,Elasticsearch具备以下特点:

  • 分布式,无需人工搭建集群(solr就需要人为配置,使用Zookeeper作为注册中心)
  • Restful风格,一切API都遵循Rest原则,容易上手
  • 近实时搜索,数据更新在Elasticsearch中几乎是完全同步的。

1.1.3.版本

目前Elasticsearch最新的版本是6.2.4,我们就使用这个版本

需要JDK1.8及以上

1.2.安装和配置

###1.2.1 下载

在这里插入图片描述

下载地址:https://www.elastic.co/downloads/past-releases
在这里插入图片描述

在这里插入图片描述

1.2.2 安装

elasticsearch无需安装,解压即用。

在这里插入图片描述

1.3.运行

进入elasticsearch/bin目录,可以看到下面的执行文件:

在这里插入图片描述

双击运行

在这里插入图片描述

可以看到绑定了两个端口:

  • 9300:java程序访问的端口
  • 9200:浏览器、postman访问接口

我们在浏览器中访问:http://127.0.0.1:9200

在这里插入图片描述

1.4.安装Head插件

1.4.1.什么是Head

ealsticsearch只是后端提供各种api,那么怎么直观的使用它呢?elasticsearch-head将是一款专门针对于elasticsearch的客户端工具

elasticsearch-head配置包,下载地址:https://github.com/mobz/elasticsearch-head

1.4.2.安装

  • es5以上版本安装head需要安装node和grunt
  • node直接打开压缩包直接安装下一步即可
    node可以修改安装路径

第一步:从地址:https://nodejs.org/en/download/ 下载相应系统的msi,双击安装。

在这里插入图片描述

第二步:安装完成用cmd进入安装目录执行 node -v可查看版本号

在这里插入图片描述

第三步:执行 npm install -g grunt-cli 安装grunt ,【用管理员身份运行CMD】安装完成后执行grunt -version查看是否安装成功,会显示安装的版本号

如果提示grunt 不是内部命令请到执行

 

在这里插入图片描述

1.4.3.配置运行

第一步:进入es安装目录下的config目录,修改elasticsearch.yml文件.在文件的末尾加入以下代码

  1. http.cors.enabled: true
  2. http.cors.allow-origin: "*"
  3. node.master: true
  4. node.data: true

然后去掉network.host: 192.168.0.1的注释并改为network.host: 0.0.0.0,去掉cluster.namenode.name;http.port的注释(也就是去掉#)

第二步:双击elasticsearch.bat重启elasticsearch.bat
重要 成败在此 如果出现闪退 用cmd运行 查看报错 基本是因为JDK问题 这个运行不能闪退 闪退就会连接失败 重新安装JDK就解决 类似下边的错

ERROR: [2] bootstrap checks failed
  •  

第三步:在https://github.com/mobz/elasticsearch-head中下载head插件,选择下载zip

第四步:解压到指定文件夹下,D:\environment\elasticsearch-head-master 进入该文件夹,修改D:\environment\elasticsearch-head-master\Gruntfile.js 在对应的位置加上hostname:‘*’,

在这里插入图片描述

第五步:在D:\environment\elasticsearch-head-master 下执行npm install

如果失败:

解决方法:
执行  npm install phantomjs-prebuilt@2.1.16 --ignore-scripts

命令用来安装phantomjs-prebuilt@2.1.16,–ignore-scripts参数用于npm install在安装phantomjs-prebuilt@2.1.16时忽略package.json中设置的脚本,意思就是避免package.json中的脚本影响包的正常安装。

安装完成后执行grunt server 或者npm run start 运行head插件,如果不成功重新安装grunt。成功如下

集群健康值是绿色就是成功 灰色就是失败见上文

1.4.4.成功

访问:http://127.0.0.1:9100/

集群健康值是绿色就是成功 灰色就是失败见上文
在这里插入图片描述

1.5.安装ik分词器

ElasticSearch 默认采用分词器, 单个字分词 ,效果很差

搜索【IK Analyzer 3.0】

ikAnalyzer 分词条件   细颗粒【多】:ik_max_word   粗颗粒分词【少】:ik_smart

http://www.oschina.net/news/2660

在这里插入图片描述

在这里插入图片描述

Lucene的IK分词器早在2012年已经没有维护了,现在我们要使用的是在其基础上维护升级的版本,并且开发为Elasticsearch的集成插件了,与Elasticsearch一起维护升级,版本也保持一致,最新版本:6.2.4

1.5.1. 下载

源码下载地址:https://github.com/medcl/elasticsearch-analysis-ik/tree/6.2.x

jar包下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases

在这里插入图片描述
在这里插入图片描述

1.5.1.安装

无需安装,解压即可使用

我们将其改名为ik,并复制到elasticsearch的解压目录,如下图所示

在这里插入图片描述

然后重启elasticsearch:

在这里插入图片描述

1.5.2.扩展词和停用词

扩展词和停用词文件:

在这里插入图片描述

在这里插入图片描述

###1.5.4 测试

在这里插入图片描述

2.SprignBoot整合Spring Data Elasticsearch

Elasticsearch提供的Java客户端有一些不太方便的地方:

  • 很多地方需要拼接Json字符串,在java中拼接字符串有多恐怖你应该懂的
  • 需要自己把对象序列化为json存储
  • 查询到结果也需要自己反序列化为对象

因此,我们这里就不讲解原生的Elasticsearch客户端API了。

而是学习Spring提供的套件:Spring Data Elasticsearch

2.1.简介

Spring Data Elasticsearch是Spring Data项目下的一个子模块。

查看 Spring Data的官网:http://projects.spring.io/spring-data/

在这里插入图片描述

Spring Data 是的使命是给各种数据访问提供统一的编程接口,不管是关系型数据库(如MySQL),还是非关系数据库(如Redis),或者类似Elasticsearch这样的索引数据库。从而简化开发人员的代码,提高开发效率。

包含很多不同数据操作的模块:

在这里插入图片描述

Spring Data Elasticsearch的页面:https://projects.spring.io/spring-data-elasticsearch/

在这里插入图片描述

特征:

  • 支持Spring的基于@Configuration的java配置方式,或者XML配置方式
  • 提供了用于操作ES的便捷工具类**ElasticsearchTemplate**。包括实现文档到POJO之间的自动智能映射。
  • 利用Spring的数据转换服务实现的功能丰富的对象映射
  • 基于注解的元数据映射方式,而且可扩展以支持更多不同的数据格式
  • 根据持久层接口自动生成对应实现方法,无需人工编写基本操作代码(类似mybatis,根据接口自动得到实现)。当然,也支持人工定制查询

2.2.创建Demo工程

我们新建一个demo,学习Elasticsearch

pom依赖:

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  3. xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  4. <modelVersion>4.0.0</modelVersion>
  5. <groupId>com.czxy</groupId>
  6. <artifactId>bos-es</artifactId>
  7. <version>0.0.1-SNAPSHOT</version>
  8. <packaging>jar</packaging>
  9. <name>bos-es</name>
  10. <description>Demo project for Spring Boot</description>
  11. <parent>
  12. <groupId>org.springframework.boot</groupId>
  13. <artifactId>spring-boot-starter-parent</artifactId>
  14. <version>2.0.4.RELEASE</version>
  15. <relativePath/> <!-- lookup parent from repository -->
  16. </parent>
  17. <properties>
  18. <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  19. <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
  20. <java.version>1.8</java.version>
  21. </properties>
  22. <dependencies>
  23. <dependency>
  24. <groupId>org.springframework.boot</groupId>
  25. <artifactId>spring-boot-starter</artifactId>
  26. </dependency>
  27. <dependency>
  28. <groupId>org.springframework.boot</groupId>
  29. <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
  30. </dependency>
  31. <dependency>
  32. <groupId>org.springframework.boot</groupId>
  33. <artifactId>spring-boot-starter-test</artifactId>
  34. <scope>test</scope>
  35. </dependency>
  36. </dependencies>
  37. <build>
  38. <plugins>
  39. <plugin>
  40. <groupId>org.springframework.boot</groupId>
  41. <artifactId>spring-boot-maven-plugin</artifactId>
  42. </plugin>
  43. </plugins>
  44. </build>
  45. </project>

application.properties文件配置 官方给的:

  1. spring.data.elasticsearch.cluster-name=my-application
  2. spring.data.elasticsearch.cluster-nodes=http://127.0.0.1:9300

http协议是关键, 删除, 不删除会报错
在这里插入图片描述

2.3.索引操作

2.3.1.创建索引和映射

SpringBoot-data-elasticsearch提供了面向对象的方式操作elasticsearch

业务:创建一个商品对象,有这些属性:

  1. 答:id,title,category,brand,price,图片地址
  2. 在SpringDataElasticSearch中,只需要操作对象,就可以操作elasticsearch中的数据

实体类

首先我们准备好实体类:

  1. public class Item {
  2. private Long id;
  3. private String title; //标题
  4. private String category;// 分类
  5. private String brand; // 品牌
  6. private Double price; // 价格
  7. private String images; // 图片地址
  8. }

映射—注解

Spring Data通过注解来声明字段的映射属性,有下面的三个注解:

  • @Document 作用在类,标记实体类为文档对象,一般有两个属性
    • indexName:对应索引库名称
    • type:对应在索引库中的类型
    • shards:分片数量,默认5
    • replicas:副本数量,默认1
  • @Id 作用在成员变量,标记一个字段作为id主键
  • @Field 作用在成员变量,标记为文档的字段,并指定字段映射属性:
    • type:字段类型,是是枚举:FieldType,可以是text、long、short、date、integer、object等
      • text:存储数据时候,会自动分词,并生成索引
      • keyword:存储数据时候,不会分词建立索引
      • Numerical:数值类型,分两类
        • 基本数据类型:long、interger、short、byte、double、float、half_float
        • 浮点数的高精度类型:scaled_float
          • 需要指定一个精度因子,比如10或100。elasticsearch会把真实值乘以这个因子后存储,取出时再还原。
      • Date:日期类型
        • elasticsearch可以对日期格式化为字符串存储,但是建议我们存储为毫秒值,存储为long,节省空间。
    • index:是否索引,布尔类型,默认是true
    • store:是否存储,布尔类型,默认是false
    • analyzer:分词器名称,这里的ik_max_word即使用ik分词器

示例:

  1. @Document(indexName = "item",type = "docs", shards = 1, replicas = 0)
  2. public class Item {
  3. @Id
  4. private Long id;
  5. @Field(type = FieldType.Text, analyzer = "ik_max_word")
  6. private String title; //标题
  7. @Field(type = FieldType.Keyword)
  8. private String category;// 分类
  9. @Field(type = FieldType.Keyword)
  10. private String brand; // 品牌
  11. @Field(type = FieldType.Double)
  12. private Double price; // 价格
  13. @Field(index = false, type = FieldType.Keyword)
  14. private String images; // 图片地址
  15. }

创建索引

ElasticsearchTemplate中提供了创建索引的API:

在这里插入图片描述

  • 可以根据类的信息自动生成,也可以手动指定indexName和Settings

映射

映射相关的API:

在这里插入图片描述

  • 一样,可以根据类的字节码信息(注解配置)来生成映射,或者手动编写映射

我们这里采用类的字节码信息创建索引并映射:

  1. @Test
  2. public void createIndex() {
  3. // 创建索引,会根据Item类的@Document注解信息来创建
  4. esTemplate.createIndex(Item.class);
  5. // 配置映射,会根据Item类中的id、Field等字段来自动完成映射
  6. esTemplate.putMapping(Item.class);
  7. }

索引信息:

在这里插入图片描述

2.3.2.删除索引

删除索引的API:

在这里插入图片描述

可以根据类名或索引名删除。

示例:

  1. @Test
  2. public void deleteIndex() {
  3. esTemplate.deleteIndex(Item.class);
  4. // 根据索引名字删除
  5. //esTemplate.deleteIndex("item1");
  6. }

结果:OK

2.4.新增文档数据

2.4.1.Repository接口

Spring Data 的强大之处,就在于你不用写任何DAO处理,自动根据方法名或类的信息进行CRUD操作。只要你定义一个接口,然后继承Repository提供的一些子接口,就能具备各种基本的CRUD功能。

来看下Repository的继承关系:

在这里插入图片描述

我们看到有一个ElasticsearchCrudRepository接口:

在这里插入图片描述

所以,我们只需要定义接口,然后继承它就OK了。

  1. public interface ItemRepository extends ElasticsearchRepository<Item,Long> {
  2. }

接下来,我们测试新增数据:

2.4.2.新增一个对象

  1. @Autowired
  2. private ItemRepository itemRepository;
  3. @Test
  4. public void index() {
  5. Item item = new Item(1L, "小米手机7", " 手机",
  6. "小米", 3499.00, "http://image.baidu.com/13123.jpg");
  7. itemRepository.save(item);
  8. }

去页面查询看看:

在这里插入图片描述

2.4.3.批量新增

代码:

  1. @Test
  2. public void indexList() {
  3. List<Item> list = new ArrayList<>();
  4. list.add(new Item(2L, "坚果手机R1", " 手机", "锤子", 3699.00, "http://image.baidu.com/13123.jpg"));
  5. list.add(new Item(3L, "华为META10", " 手机", "华为", 4499.00, "http://image.baidu.com/13123.jpg"));
  6. // 接收对象集合,实现批量新增
  7. itemRepository.saveAll(list);
  8. }

再次去页面查询:

在这里插入图片描述

2.4.4.修改

elasticsearch中本没有修改,它的是该是先删除在新增

修改和新增是同一个接口,区分的依据就是id。

  1. @Test
  2. public void index(){
  3. Item item = new Item(1L, "苹果XSMax", " 手机",
  4. "小米", 3499.00, "http://image.baidu.com/13123.jpg");
  5. itemRepository.save(item);
  6. }

查看结果:

在这里插入图片描述

2.5.查询

2.5.1.基本查询

ElasticsearchRepository提供了一些基本的查询方法:

在这里插入图片描述

我们来试试查询所有:

  1. @Test
  2. public void testQueryAll(){
  3. // 查找所有
  4. //Iterable<Item> list = this.itemRepository.findAll();
  5. // 对某字段排序查找所有 Sort.by("price").descending() 降序
  6. // Sort.by("price").ascending():升序
  7. Iterable<Item> list = this.itemRepository.findAll(Sort.by("price").ascending());
  8. for (Item item:list){
  9. System.out.println(item);
  10. }
  11. }

结果:

在这里插入图片描述

2.5.2.自定义方法

Spring Data 的另一个强大功能,是根据方法名称自动实现功能。

比如:你的方法名叫做:findByTitle,那么它就知道你是根据title查询,然后自动帮你完成,无需写实现类。

当然,方法名称要符合一定的约定:

KeywordSample
AndfindByNameAndPrice
OrfindByNameOrPrice
IsfindByName
NotfindByNameNot
BetweenfindByPriceBetween
LessThanEqualfindByPriceLessThan
GreaterThanEqualfindByPriceGreaterThan
BeforefindByPriceBefore
AfterfindByPriceAfter
LikefindByNameLike
StartingWithfindByNameStartingWith
EndingWithfindByNameEndingWith
Contains/ContainingfindByNameContaining
InfindByNameIn(Collection<String>names)
NotInfindByNameNotIn(Collection<String>names)
NearfindByStoreNear
TruefindByAvailableTrue
FalsefindByAvailableFalse
OrderByfindByAvailableTrueOrderByNameDesc

例如,我们来按照价格区间查询,定义这样的一个方法:

  1. public interface ItemRepository extends ElasticsearchRepository<Item,Long> {
  2. /**
  3. * 根据价格区间查询
  4. * @param price1
  5. * @param price2
  6. * @return
  7. */
  8. List<Item> findByPriceBetween(double price1, double price2);
  9. }

然后添加一些测试数据:

  1. @Test
  2. public void indexList() {
  3. List<Item> list = new ArrayList<>();
  4. list.add(new Item(1L, "小米手机7", "手机", "小米", 3299.00, "http://image.baidu.com/13123.jpg"));
  5. list.add(new Item(2L, "坚果手机R1", "手机", "锤子", 3699.00, "http://image.baidu.com/13123.jpg"));
  6. list.add(new Item(3L, "华为META10", "手机", "华为", 4499.00, "http://image.baidu.com/13123.jpg"));
  7. list.add(new Item(4L, "小米Mix2S", "手机", "小米", 4299.00, "http://image.baidu.com/13123.jpg"));
  8. list.add(new Item(5L, "荣耀V10", "手机", "华为", 2799.00, "http://image.baidu.com/13123.jpg"));
  9. // 接收对象集合,实现批量新增
  10. itemRepository.saveAll(list);
  11. }

不需要写实现类,然后我们直接去运行:

  1. @Test
  2. public void queryByPriceBetween(){
  3. List<Item> list = this.itemRepository.findByPriceBetween(2000.00, 3500.00);
  4. for (Item item : list) {
  5. System.out.println("item = " + item);
  6. }
  7. }

结果:
在这里插入图片描述

2.5.3.自定义查询

先来看最基本的match query:

  1. @Test
  2. public void search(){
  3. // 构建查询条件
  4. NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
  5. // 添加基本分词查询
  6. queryBuilder.withQuery(QueryBuilders.matchQuery("title", "小米手机"));
  7. // 搜索,获取结果
  8. Page<Item> items = this.itemRepository.search(queryBuilder.build());
  9. // 总条数
  10. long total = items.getTotalElements();
  11. System.out.println("total = " + total);
  12. for (Item item : items) {
  13. System.out.println(item);
  14. }
  15. }
  • NativeSearchQueryBuilder:Spring提供的一个查询条件构建器,帮助构建json格式的请求体

  • QueryBuilders.matchQuery(“title”, “小米手机”):利用QueryBuilders来生成一个查询。QueryBuilders提供了大量的静态方法,用于生成各种不同类型的查询:

在这里插入图片描述

  • Page<item>:默认是分页查询,因此返回的是一个分页的结果对象,包含属性:

    • totalElements:总条数

    • totalPages:总页数

    • Iterator:迭代器,本身实现了Iterator接口,因此可直接迭代得到当前页的数据

    • 其它属性:
      在这里插入图片描述

结果:

在这里插入图片描述

总的测试代码:

  1. /**
  2. *
  3. * termQuery
  4. * wildcardQuery
  5. * fuzzyquery
  6. * booleanQuery
  7. * numericRangeQuery
  8. *
  9. */
  10. @Test
  11. public void testMathQuery(){
  12. // 创建对象
  13. NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
  14. // 在queryBuilder对象中自定义查询
  15. //matchQuery:底层就是使用的termQuery
  16. queryBuilder.withQuery(QueryBuilders.matchQuery("title","坚果"));
  17. //查询,search 默认就是分页查找
  18. Page<Item> page = this.itemRepository.search(queryBuilder.build());
  19. //获取数据
  20. long totalElements = page.getTotalElements();
  21. System.out.println("获取的总条数:"+totalElements);
  22. for(Item item:page){
  23. System.out.println(item);
  24. }
  25. }
  26. /**
  27. * termQuery:功能更强大,除了匹配字符串意外,还可以匹配int/long/double/float/....
  28. */
  29. @Test
  30. public void testTermQuery(){
  31. NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
  32. builder.withQuery(QueryBuilders.termQuery("price",998.0));
  33. // 查找
  34. Page<Item> page = this.itemRepository.search(builder.build());
  35. for(Item item:page){
  36. System.out.println(item);
  37. }
  38. }
  39. @Test
  40. public void testBooleanQuery(){
  41. NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
  42. builder.withQuery(
  43. QueryBuilders.boolQuery().must(QueryBuilders.matchQuery("title","华为"))
  44. .must(QueryBuilders.matchQuery("brand","华为"))
  45. );
  46. // 查找
  47. Page<Item> page = this.itemRepository.search(builder.build());
  48. for(Item item:page){
  49. System.out.println(item);
  50. }
  51. }
  52. @Test
  53. public void testFuzzyQuery(){
  54. NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
  55. builder.withQuery(QueryBuilders.fuzzyQuery("title","faceoooo"));
  56. Page<Item> page = this.itemRepository.search(builder.build());
  57. for(Item item:page){
  58. System.out.println(item);
  59. }
  60. }
  •  

2.5.4.分页查询

利用NativeSearchQueryBuilder可以方便的实现分页:

  1. @Test
  2. public void searchByPage(){
  3. // 构建查询条件
  4. NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
  5. // 添加基本分词查询
  6. queryBuilder.withQuery(QueryBuilders.termQuery("category", "手机"));
  7. // 分页:
  8. int page = 0;
  9. int size = 2;
  10. queryBuilder.withPageable(PageRequest.of(page,size));
  11. // 搜索,获取结果
  12. Page<Item> items = this.itemRepository.search(queryBuilder.build());
  13. // 总条数
  14. long total = items.getTotalElements();
  15. System.out.println("总条数 = " + total);
  16. // 总页数
  17. System.out.println("总页数 = " + items.getTotalPages());
  18. // 当前页
  19. System.out.println("当前页:" + items.getNumber());
  20. // 每页大小
  21. System.out.println("每页大小:" + items.getSize());
  22. for (Item item : items) {
  23. System.out.println(item);
  24. }
  25. }

结果:

在这里插入图片描述

可以发现,Elasticsearch中的分页是从第0页开始

2.5.5.排序

排序也通用通过NativeSearchQueryBuilder完成:

  1. @Test
  2. public void searchAndSort(){
  3. // 构建查询条件
  4. NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
  5. // 添加基本分词查询
  6. queryBuilder.withQuery(QueryBuilders.termQuery("category", "手机"));
  7. // 排序
  8. queryBuilder.withSort(SortBuilders.fieldSort("price").order(SortOrder.ASC));
  9. // 搜索,获取结果
  10. Page<Item> items = this.itemRepository.search(queryBuilder.build());
  11. // 总条数
  12. long total = items.getTotalElements();
  13. System.out.println("总条数 = " + total);
  14. for (Item item : items) {
  15. System.out.println(item);
  16. }
  17. }

结果:

在这里插入图片描述

2.6.聚合(NB!!solr无此功能)

聚合可以让我们极其方便的实现对数据的统计、分析。例如:

  • 什么品牌的手机最受欢迎?
  • 这些手机的平均价格、最高价格、最低价格?
  • 这些手机每月的销售情况如何?

实现这些统计功能的比数据库的sql要方便的多,而且查询速度非常快,可以实现近实时搜索效果。

2.6.1 基本概念

Elasticsearch中的聚合,包含多种类型,最常用的两种,一个叫,一个叫度量

桶(bucket)

桶的作用,是按照某种方式对数据进行分组,每一组数据在ES中称为一个,例如我们根据国籍对人划分,可以得到中国桶英国桶日本桶……或者我们按照年龄段对人进行划分:010,1020,2030,3040等。

Elasticsearch中提供的划分桶的方式有很多:

  • Date Histogram Aggregation:根据日期阶梯分组,例如给定阶梯为周,会自动每周分为一组
  • Histogram Aggregation:根据数值阶梯分组,与日期类似
  • Terms Aggregation:根据词条内容分组,词条内容完全匹配的为一组
  • Range Aggregation:数值和日期的范围分组,指定开始和结束,然后按段分组
  • ……

综上所述,我们发现bucket aggregations 只负责对数据进行分组,并不进行计算,因此往往bucket中往往会嵌套另一种聚合:metrics aggregations即度量

度量(metrics)

分组完成以后,我们一般会对组中的数据进行聚合运算,例如求平均值、最大、最小、求和等,这些在ES中称为度量

比较常用的一些度量聚合方式:

  • Avg Aggregation:求平均值
  • Max Aggregation:求最大值
  • Min Aggregation:求最小值
  • Percentiles Aggregation:求百分比
  • Stats Aggregation:同时返回avg、max、min、sum、count等
  • Sum Aggregation:求和
  • Top hits Aggregation:求前几
  • Value Count Aggregation:求总数
  • ……

注意:在ES中,需要进行聚合、排序、过滤的字段其处理方式比较特殊,因此不能被分词。这里我们将color和make这两个文字类型的字段设置为keyword类型,这个类型不会被分词,将来就可以参与聚合

2.6.2.聚合为桶

桶就是分组,比如这里我们按照品牌brand进行分组:

  1. @Test
  2. public void testAgg(){
  3. NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
  4. // 不查询任何结果
  5. queryBuilder.withSourceFilter(new FetchSourceFilter(new String[]{""}, null));
  6. // 1、添加一个新的聚合,聚合类型为terms,聚合名称为brands,聚合字段为brand
  7. queryBuilder.addAggregation(
  8. AggregationBuilders.terms("brands").field("brand"));
  9. // 2、查询,需要把结果强转为AggregatedPage类型
  10. AggregatedPage<Item> aggPage = (AggregatedPage<Item>) this.itemRepository.search(queryBuilder.build());
  11. // 3、解析
  12. // 3.1、从结果中取出名为brands的那个聚合,
  13. // 因为是利用String类型字段来进行的term聚合,所以结果要强转为StringTerm类型
  14. StringTerms agg = (StringTerms) aggPage.getAggregation("brands");
  15. // 3.2、获取桶
  16. List<StringTerms.Bucket> buckets = agg.getBuckets();
  17. // 3.3、遍历
  18. for (StringTerms.Bucket bucket : buckets) {
  19. // 3.4、获取桶中的key,即品牌名称
  20. System.out.println(bucket.getKeyAsString());
  21. // 3.5、获取桶中的文档数量
  22. System.out.println(bucket.getDocCount());
  23. }
  24. }

显示的结果:

在这里插入图片描述

关键API:

  • AggregationBuilders:聚合的构建工厂类。所有聚合都由这个类来构建,看看他的静态方法:
    在这里插入图片描述
  1. 1)统计某个字段的数量
  2. ValueCountBuilder vcb= AggregationBuilders.count("count_uid").field("uid");
  3. 2)去重统计某个字段的数量(有少量误差)
  4. CardinalityBuilder cb= AggregationBuilders.cardinality("distinct_count_uid").field("uid");
  5. 3)聚合过滤
  6. FilterAggregationBuilder fab= AggregationBuilders.filter("uid_filter").filter(QueryBuilders.queryStringQuery("uid:001"));
  7. 4)按某个字段分组
  8. TermsBuilder tb= AggregationBuilders.terms("group_name").field("name");
  9. 5)求和
  10. SumBuilder sumBuilder= AggregationBuilders.sum("sum_price").field("price");
  11. 6)求平均
  12. AvgBuilder ab= AggregationBuilders.avg("avg_price").field("price");
  13. 7)求最大值
  14. MaxBuilder mb= AggregationBuilders.max("max_price").field("price");
  15. 8)求最小值
  16. MinBuilder min= AggregationBuilders.min("min_price").field("price");
  17. 9)按日期间隔分组
  18. DateHistogramBuilder dhb= AggregationBuilders.dateHistogram("dh").field("date");
  19. 10)获取聚合里面的结果
  20. TopHitsBuilder thb= AggregationBuilders.topHits("top_result");
  21. 11)嵌套的聚合
  22. NestedBuilder nb= AggregationBuilders.nested("negsted_path").path("quests");
  23. 12)反转嵌套
  24. AggregationBuilders.reverseNested("res_negsted").path("kps ");
  • AggregatedPage:聚合查询的结果类。它是Page<T>的子接口:
    在这里插入图片描述

    AggregatedPagePage功能的基础上,拓展了与聚合相关的功能,它其实就是对聚合结果的一种封装。

在这里插入图片描述

而返回的结果都是Aggregation类型对象,不过根据字段类型不同,又有不同的子类表示

在这里插入图片描述

2.6.2.嵌套聚合,求平均值

代码:

  1. @Test
  2. public void testSubAgg(){
  3. NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
  4. // 不查询任何结果
  5. queryBuilder.withSourceFilter(new FetchSourceFilter(new String[]{""}, null));
  6. // 1、添加一个新的聚合,聚合类型为terms,聚合名称为brands,聚合字段为brand
  7. queryBuilder.addAggregation(
  8. AggregationBuilders.terms("brands").field("brand")
  9. .subAggregation(AggregationBuilders.avg("priceAvg").field("price")) // 在品牌聚合桶内进行嵌套聚合,求平均值
  10. );
  11. // 2、查询,需要把结果强转为AggregatedPage类型
  12. AggregatedPage<Item> aggPage = (AggregatedPage<Item>) this.itemRepository.search(queryBuilder.build());
  13. // 3、解析
  14. // 3.1、从结果中取出名为brands的那个聚合,
  15. // 因为是利用String类型字段来进行的term聚合,所以结果要强转为StringTerm类型
  16. StringTerms agg = (StringTerms) aggPage.getAggregation("brands");
  17. // 3.2、获取桶
  18. List<StringTerms.Bucket> buckets = agg.getBuckets();
  19. // 3.3、遍历
  20. for (StringTerms.Bucket bucket : buckets) {
  21. // 3.4、获取桶中的key,即品牌名称 3.5、获取桶中的文档数量
  22. System.out.println(bucket.getKeyAsString() + ",共" + bucket.getDocCount() + "台");
  23. // 3.6.获取子聚合结果:
  24. InternalAvg avg = (InternalAvg) bucket.getAggregations().asMap().get("priceAvg");
  25. System.out.println("平均售价:" + avg.getValue());
  26. }
  27. }

结果:

在这里插入图片描述

2.7.基本概念

Elasticsearch也是基于Lucene的全文检索库,本质也是存储数据,很多概念与MySQL类似的。

对比关系:

索引库(indices)--------------------------------Databases 数据库

  1. 类型(type-----------------------------Table 数据表
  2. 文档(Document----------------Row 行
  3. 字段(Field-------------------Columns 列

详细说明:

概念说明
索引库(indices)indices是index的复数,代表许多的索引,
类型(type)类型是模拟mysql中的table概念,一个索引库下可以有不同类型的索引,比如商品索引,订单索引,其数据格式不同。不过这会导致索引库混乱,因此未来版本中会移除这个概念
文档(document)存入索引库原始的数据。比如每一条商品信息,就是一个文档
字段(field)文档中的属性
映射配置(mappings)字段的数据类型、属性、是否索引、是否存储等特性

是不是与Lucene中的概念类似。

另外,在Elasticsearch有一些集群相关的概念:

  • 索引集(Indices,index的复数):逻辑上的完整索引
  • 分片(shard):数据拆分后的各个部分
  • 副本(replica):每个分片的复制

要注意的是:Elasticsearch本身就是分布式的,因此即便你只有一个节点,Elasticsearch默认也会对你的数据进行分片和副本操作,当你向集群添加新数据时,数据也会在新加入的节点中进行平衡。

注意:

如果后台报错:

解决方法:

在 Elasticsearch中 的 config/jvm.options 文件里把“-Dfile.encoding=UTF-8”改为“-Dfile.encoding=GBK”
然后重启 Elasticsearch 即可

另外:如何查看自己分词后的结果:

  1. package com.wl.partner.controller;
  2. import com.alibaba.fastjson.JSON;
  3. import com.alibaba.fastjson.JSONObject;
  4. import com.cre.dmp.osp.common.config.openapi.OpenApi;
  5. import com.cre.dmp.osp.common.web.BaseController;
  6. import com.wl.partner.dao.PartnerDao;
  7. import com.wl.partner.entity.Dealer;
  8. import com.wl.partner.entity.Partner;
  9. import org.elasticsearch.action.admin.indices.analyze.AnalyzeAction;
  10. import org.elasticsearch.action.admin.indices.analyze.AnalyzeRequestBuilder;
  11. import org.elasticsearch.action.admin.indices.analyze.AnalyzeResponse;
  12. import org.elasticsearch.index.query.QueryBuilders;
  13. import org.springframework.beans.factory.annotation.Autowired;
  14. import org.springframework.data.domain.Page;
  15. import org.springframework.data.domain.PageRequest;
  16. import org.springframework.data.elasticsearch.core.ElasticsearchTemplate;
  17. import org.springframework.data.elasticsearch.core.query.NativeSearchQueryBuilder;
  18. import org.springframework.web.bind.annotation.RequestMapping;
  19. import org.springframework.web.bind.annotation.RequestMethod;
  20. import org.springframework.web.bind.annotation.RequestParam;
  21. import org.springframework.web.bind.annotation.RestController;
  22. import java.util.ArrayList;
  23. import java.util.List;
  24. /**
  25. * 启动可视化页面: E:\Elasticsearch\elasticsearch\elasticsearch-head-master>npm run start
  26. * 启动Elasticsearch E:\Elasticsearch\elasticsearch\elasticsearch-6.2.4\bin elasticsearch.bat
  27. * http://127.0.0.1:9200/ 启动确认
  28. * http://127.0.0.1:9100/ 页面
  29. * 9300 后台调用端口
  30. *
  31. * 1.如何页面创建索引?
  32. * 2.如何页面删除索引
  33. * 3.如何查看分词之后得结果
  34. * 4.如何实时更新修改已建立索引的的数据(变更删除更细新增怎么办)
  35. */
  36. @RestController
  37. @RequestMapping("/testController")
  38. public class TestController extends BaseController {
  39. @Autowired
  40. ElasticsearchTemplate elasticsearchTemplate;
  41. @Autowired
  42. private PartnerDao partnerDao;//合伙人
  43. @RequestMapping(value = "/createIndex", method = {RequestMethod.POST})
  44. public void createIndex() {
  45. // 创建索引,会根据Item类的@Document注解信息来创建
  46. elasticsearchTemplate.createIndex(Dealer.class);
  47. // 配置映射,会根据Item类中的id、Field等字段来自动完成映射
  48. elasticsearchTemplate.putMapping(Dealer.class);
  49. }
  50. @RequestMapping(value = "/deleteIndex", method = {RequestMethod.POST})
  51. public void deleteIndex() {
  52. elasticsearchTemplate.deleteIndex(Partner.class);
  53. // 根据索引名字删除
  54. //esTemplate.deleteIndex("item1");
  55. }
  56. @RequestMapping(value = "/createPartnerIndex", method = {RequestMethod.POST})
  57. public void createPartnerIndex() {
  58. // 创建索引,会根据Item类的@Document注解信息来创建
  59. elasticsearchTemplate.createIndex(Partner.class);
  60. // 配置映射,会根据Item类中的id、Field等字段来自动完成映射
  61. // elasticsearchTemplate.putMapping(Partner.class);
  62. }
  63. /**
  64. * http://localhost:7102/wl-ltx-partner-api/testController/testPartnerAll
  65. */
  66. @RequestMapping(value = "/testPartnerAll", method = {RequestMethod.POST})
  67. public void testPartnerAll(){
  68. // 构建查询条件
  69. NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
  70. // 添加基本分词查询
  71. //queryBuilder.withQuery(QueryBuilders.termQuery("partnerName", "郑"));
  72. queryBuilder.withQuery(QueryBuilders.termQuery("partnerAddress", "漯河"));
  73. // 分页:
  74. int page = 0;
  75. int size = 2;
  76. queryBuilder.withPageable(PageRequest.of(page,size));
  77. // 搜索,获取结果
  78. Page<Partner> items = this.partnerDao.search(queryBuilder.build());
  79. // 总条数
  80. long total = items.getTotalElements();
  81. System.out.println("总条数 = " + total);
  82. // 总页数
  83. System.out.println("总页数 = " + items.getTotalPages());
  84. // 当前页
  85. System.out.println("当前页:" + items.getNumber());
  86. // 每页大小
  87. System.out.println("每页大小:" + items.getSize());
  88. for (Partner item : items) {
  89. System.out.println(item);
  90. }
  91. }
  92. /**
  93. * 查看分词之后得结果数据
  94. * searchContent 分词内容
  95. * ikAnalyzer 分词条件 细颗粒【多】:ik_max_word 粗颗粒分词【少】:ik_smart
  96. * http://localhost:7102/wl-ltx-partner-api/testController/getIkAnalyzeSearchTerms
  97. *
  98. * {"searchContent":"中华人民共和国人民大会堂","ikAnalyzer":"ik_max_word" }
  99. *"{searchContent":"中华人民共和国人民大会堂","ikAnalyzer":"ik_smart" }
  100. * [partner_item] 参数 为http://127.0.0.1:9100/ 所建立的索引
  101. *
  102. * @return
  103. */
  104. @OpenApi
  105. @RequestMapping(value = "/getIkAnalyzeSearchTerms", method = {RequestMethod.POST})
  106. private List<String> getIkAnalyzeSearchTerms(@OpenApi @RequestParam(value = "jsonDate", required = true) String jsonDateString) {
  107. JSONObject jsonObject = JSON.parseObject(jsonDateString);
  108. String searchContent = (String) jsonObject.get("searchContent");
  109. String ikAnalyzer = (String) jsonObject.get("ikAnalyzer");
  110. // 调用 IK 分词分词
  111. AnalyzeRequestBuilder ikRequest = new AnalyzeRequestBuilder(elasticsearchTemplate.getClient(),
  112. AnalyzeAction.INSTANCE, "partner_item", searchContent);
  113. //【partner_item 】自定义的http://127.0.0.1:9100/ 数据浏览中的自己索引名字
  114. ikRequest.setTokenizer(ikAnalyzer);
  115. List<AnalyzeResponse.AnalyzeToken> tokenList = ikRequest.execute().actionGet().getTokens();
  116. // 循环赋值
  117. List<String> searchTermList = new ArrayList<>();
  118. tokenList.forEach(ikToken -> {
  119. searchTermList.add(ikToken.getTerm());
  120. });
  121. return searchTermList;
  122. }
  123. }

细颗粒分词:ik_max_word

粗颗粒分词:ik_smart

 

错误二:

解决办法:

1、原因:防火墙拦截

2、解决方法:关闭防火墙。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/不正经/article/detail/355225
推荐阅读
相关标签
  

闽ICP备14008679号