什么是ES(Elasticsearch)?详解+操作

elastic:富有弹性的

search:搜索

此软件不再是SpringColud提供的,他也不针对微服务的项目开发

Elasticsearch和Redis/mysqly一样,不仅服务于java开发，其他语言也可以使用

它的功能类似于数据库,能高效的从大量数据中搜索匹配指定关键字的内容

数据保存在硬盘中

Es的底层:

使用了一套名为Lucene的API

这个API提供了全文搜索引擎核心操作的接口,相当于搜索引擎的核心支持,ES是在Lucene的基础上进行完善,实现了开箱即用的搜索引擎

市面上和ES功能类似的软件有:

Solr/MongoDB

为什么需要使用Elasticsearch?

数据库进行模糊查询效率严重低下

所有关系型数据库也有这个缺点:mysql\mariaDB\oracle\DB2等

Elaticsearch主要是为了解决数据库模糊查询性能低下问题

ES进行优化之后,从同样数据库的ES中查询相同条件数据,效率能够提高100倍以上

说到这里就不得不提一下数据库的索引 :

所谓的索引(index) 其实就是数据目录

通常情况下,索引是为了提高查询效率的

索引面试题

1.创建索引会占用硬盘空间

2.创建索引之后,对该表进行增删改操作时,会引起索引的更新,所以效率会降低

3.对数据库进行批量新增时,先删除索引,增加完毕之后再创建

4.不要对数据样本少的列添加索引

5.模糊查询时,查询条件前模糊的情况,是无法启用索引的

6.每次从数据表中查询的数据的比例越高,索引的效果越低

数据库索引分为两大类:

1.聚焦索引

2.非聚焦索引

所谓聚焦索引就是数据库保存数据的物理顺序依据，默认情况下就是主键id，所以按照id查询数据库中的数据效率非常高

而非聚焦索引则是如果在非主键上添加索引就是非索引聚焦了

而模糊查询时如查询'%XX',使用的就是前模糊条件,而使用索引又必须明确前面的内容是什么,所以前模糊查询是不能使用索引的,只能做全表的查询，但是查询效率低

所以当我们要做根据用户输入关键字进行模糊查询时, 需要使用全文搜索引擎来优化

Elasticsearch运行原理

要想使用ES来提高模糊查询效率

要先将数据库复制到ES中

在新增数据到ES中,ES可以对指定的列进行分词索引保存到索引库中

形成倒排索引结构

ES的简单使用:     

<dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
 
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

进行pom文件配置后,需要创建一个能向ES发送请求的文件

这种能向指定url发送请求的格式文件称之为http client(http客户端)

先向es发送指令:

### 三个#开头,表示注释,也是分割符,http文件要求每个请求必须以分隔符开始,否则运行就会混乱报错
GET http://localhost:9200

测试ES的分词功能

### 测试ES的分词功能,运行请求,查看分词结果
POST http://localhost:9200/_analyze
Content-Type: application/json
 
{
  "text": "my name is hanmeimei",
  "analyzer": "standard"
}

 analyze:分析

standard是ES默认的分词器,"analyzer": "standard"是可以省略的

standard这个分词器只能对英文等西文字符(用空格分隔单词的),进行正确分词

但是中文分词不能按空格分,按这个分词器分词,每个字都会形成分词,这样的结果不能满足我们的需要

为了解决中文不能分词的问题:

要引入一个中文常用词语的类库,分词时按照词库中的进行分词即可

可以使用免费的中文分

{
  "text": "罗技激光鼠标",
  "analyzer": "ik_smart"
}

词器插件ik来实现中文分词

ik分词插件的种类

我们安装的ik实际上不只一个分词器

实际上除了ik_smart之外还有ik_max_word

POST http://localhost:9200/_analyze
Content-Type: application/json
 
{
  "text": "北京冬季奥林匹克运动会顺利闭幕",
  "analyzer": "ik_max_word"
}

POST http://localhost:9200/_analyze
Content-Type: application/json
 
{
  "text": "北京冬季奥林匹克运动会顺利闭幕",
  "analyzer": "ik_smart"
}

ik_smart

• 优点:特征是粗略快速的将文字进行分词,占用空间小,查询速度快

• 缺点:分词的颗粒度大,可能跳过一些重要分词,导致查询结果不全面,查全率低

ik_max_word

• 优点:特征是详细的文字片段进行分词,查询时查全率高,不容易遗漏数据
• 缺点:因为分词太过详细,导致有一些无用分词,占用空间较大,查询速度慢

 使用ES操作数据

ES是一个数据库性质的软件

可以执行增删改查操作,只是他操作数据不使用sql,数据的结构和关系型数据库也不同

• ES启动后,ES服务可以创建多个index(索引),index可以理解为数据库中表的概念

• 一个index可以创建多个保存数据的document(文档),一个document理解为数据库中的一行数据

SpringBoot操作Elasticsearch

原生状态下我们使用JDBC连接数据库，因为代码过于繁琐所以采用Mybatis框架

在原生状态下，我们要使用socket访问ES，但过于繁琐所以采用SpringData框架简化

SpringData是Spring提供的一套连接第三方数据源的框架集

我们需要使用的是其中连接ES的Spring Data Elasticsearch

官方网站:Spring Data

首先在pom文件添加依赖:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>cn.tedu</groupId>
        <artifactId>csmall</artifactId>
        <version>0.0.1-SNAPSHOT</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>cn.tedu</groupId>
    <artifactId>search</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>search</name>
    <description>Demo project for Spring Boot</description>
 
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
 
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <!--   Spring Data Elasticsearch整合SpringBoot的依赖   -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
    </dependencies>
 
</project>

勇士添加application.pproperties配置

# 配置ES的ip和端口
spring.elasticsearch.rest.uris=http://localhost:9200
 
# 设置日志门槛
logging.level.cn.tedu.search=debug
# SpringDataElasticsearch框架内部有一个输出日志信息的类,也要设置门槛
logging.level.org.elasticsearch.client.RestClient=debug

 创建和ES关联的实体类

实体类(entity)：

@Data
@Accessors(chain = true)  // 支持链式set赋值
@AllArgsConstructor       // 自动生成包含全部参数的构造方法
@NoArgsConstructor        // 自动生成无参数的构造方法
 
// @Document注解标记当前类是ES框架对应的实体类
// 属性indexName指定ES中对应的索引名称,运行时,如果这个索引不存在,SpringData会自动创建它
@Document(indexName = "items")
public class Item implements Serializable {
 
    // SpringData通过@Id注解来标记当前实体类的主键
    @Id
    private Long id;
 
    @Field(type = FieldType.Text,
            analyzer = "ik_max_word",
            searchAnalyzer = "ik_max_word")
    private String title;
 
    // FieldType.Keyword类型表示当前字段是不需要分词的字符串
    @Field(type = FieldType.Keyword)
    private String category;
    @Field(type = FieldType.Keyword)
    private String brand;
    @Field(type = FieldType.Double)
    private Double price;
 
    // imgPath是图片路径的属性,不会成为搜索条件,所以这个列可以不创建索引,节省空间
    // index = false就是不创建索引的设置
    // 所谓不创建索引,只是不为当前字段创建索引列表,但是数据是保存在ES中的
    @Field(type = FieldType.Keyword,index = false)
    private String imgPath;

 创建操作Es的持久层:

SpringData对持久层的命名规则

持久层名称为repository(仓库),创建这个包，包中创建接口

// Repository是Spring家族框架对持久层出现的类\接口的命名规范
@Repository
public interface ItemRepository extends ElasticsearchRepository<Item,Long> {
 
    // ItemRepository接口继承SpringData框架提供的ElasticsearchRepository父接口
    // 继承之后当前接口就能够使用父接口中声明的操作Es的方法了
    // 父接口中的方法包含指定实体类对应ES索引的基本增删改查
    // ElasticsearchRepository<[要操作的实体类],[实体类的主键类型]>
 
 
}

测试ES

如果没有测试包,创建test测试包

如果没有测试类,创建测试类

编写测试

@SpringBootTest
class SearchApplicationTests {
 
    @Autowired
    private ItemRepository itemRepository;
 
    // 执行单增
    @Test
    void addOne() {
        // 实例化Item对象
        Item item=new Item()
                .setId(1L)
                .setTitle("罗技激光无线游戏鼠标")
                .setCategory("鼠标")
                .setBrand("罗技")
                .setPrice(186.0)
                .setImgPath("/1.jpg");
        // 利用SpringDataElasticsearch框架提供的新增方法,新增到ES
        itemRepository.save(item);
        System.out.println("ok");
    }
 
    // 单查
    @Test
    void getOne(){
        // SpringDataElasticsearch提供了按id查询ES中数据的方法
        // 返回值是一个Optional类型对象，声明了泛型,我们理解为只能保存一个元素的集合
        Optional<Item> optional = itemRepository.findById(1L);
        // 从这个容器中取出元素
        Item item=optional.get();
        System.out.println(item);
    }
 
    // 批量增
    @Test
    void addList(){
        // 实例化一个List,把要保存到ES中的数据添加这个集合中
        List<Item> list=new ArrayList<>();
        list.add(new Item(2L,"罗技激光有线办公鼠标","鼠标",
                            "罗技",78.0,"/2.jpg"));
        list.add(new Item(3L,"雷蛇机械无线游戏键盘","键盘",
                			"雷蛇",268.0,"/3.jpg"));
        list.add(new Item(4L,"微软有线静音办公鼠标","鼠标",
                			"微软",199.0,"/4.jpg"));
        list.add(new Item(5L,"罗技机械有线背光键盘","键盘",
                			"罗技",228.0,"/5.jpg"));
        itemRepository.saveAll(list);
        System.out.println("ok");
    }
 
    // 全查
    @Test
    void getAll(){
        // SpringDataElasticsearch提供的全查所有item的ES中数据的方法
        Iterable<Item> items = itemRepository.findAll();
        for(Item item : items){
            System.out.println(item);
        }
        System.out.println("----------------------------------------------------");
        items.forEach(item -> System.out.println(item));
    }
 
 
}