开发搜索功能(ES支持)

Elasticsearch加载数据

我们要想完成高效的搜索任务,需要ES的支持

因为数据库的模糊查询效率太低了

我们在前端页面中完成的搜索是从ES中搜索数据

这样就要求我们在查询之前,需要先将商品信息 (SPU) 保存到ES中

一开始我们采用最原始的方法: 从数据库查询出数据之后新增到ES中

确认实体类

搜索功能编写在mall-search模块中

它使用的实体类在cn.tedu.mall.pojo.search.eneity包下SpuForElastic

这个类有4个字段是具备分词功能的

所以支持我们使用这4个字段进行查询

/**
 * SPU名称
 */
@Field(name = "name",type = FieldType.Text,
        analyzer = "ik_max_word",searchAnalyzer = "ik_max_word")
@ApiModelProperty(value="SPU名称")
private String name;
 
//.....
 
/**
     * 标题
     */
@Field(name="title",type = FieldType.Text,
       analyzer = "ik_max_word",searchAnalyzer = "ik_max_word")
@ApiModelProperty(value="标题")
private String title;
 
/**
     * 简介
     */
@Field(name="description",type = FieldType.Text,
       analyzer = "ik_max_word",searchAnalyzer = "ik_max_word")
@ApiModelProperty(value="简介")
private String description;
 
//.....
 
/**
 * 类别名称（冗余）
 */
@Field(name="category_name",type = FieldType.Text,
       analyzer = "ik_max_word",searchAnalyzer = "ik_max_word")
@ApiModelProperty(value="类别名称（冗余）")
private String categoryName;
 
//.....

开发ES的持久层

仍然使用SpringDataElasticsearch框架来操作ES

按照SpringData的规范,我们创建包repository

在这个包中创建SpuForElasticRepository接口,代码如下

// SpuForElastic实体类操作ES的持久层接口
// 需要继承SpringData给定的父接口,继承之后可以直接使用提供的基本增删改查方法
@Repository
public interface SpuForElasticRepository extends 
                            ElasticsearchRepository<SpuForElastic,Long>{
}

这个接口提供了批量新增数据到ES的方法

但是要想获得数据库中所有pms_spu表的数据,必须连接数据库查询这些数据

但是search模块是负责管理ES的,所以需要Dubbo调用product模块获取这些数据

product模块提供的查询功能

经过观察发现业务逻辑逻辑层调用ForFrontSpuServiceImpl类中

具有一个getSpuByPage的方法

他分页查询所有spu信息

@Override
public JsonPage<Spu> getSpuByPage(Integer pageNum, Integer pageSize) {
    PageHelper.startPage(pageNum,pageSize);
    List<Spu> list=spuMapper.findAllList();
    return JsonPage.restPage(new PageInfo<>(list));
}

分页的原因是一般加载到ES中的数据量非常大(几十万上百万条),我们不可能一次性将所有数据查询出来,增到ES中,必须分批分次

分页查询就是典型的分批查询,每次查询一部分数据,通过循环遍历,将每页数据都增到ES中

Search模块执行加载

mall-search-webapi模块创建service.impl包

包中创建SearchServiceImpl类,用于将数据库中的数据加载到ES中

代码如下

@Service
@Slf4j
public class SearchServiceImpl implements ISearchService{
    
    // dubbo调用Product模块分页查询所有spu
    @DubboReference
    private IForFrontSpuService dubboSpuService;
    @Autowired
    private SpuForElasticRepository spuRepository;
 
    @Override
    public void loadSpuByPage(){
        // 循环完成分页查询所有数据,
        // 每循环一次,将查询到的当页数据新增到ES,直到最后一页
        // 因为是需要运行一次之后,才知道总页数,所以这里采用do-while循环结构
        int i = 1;    // 循环变量i,从1开始,因为可以同时用作页码值
        int pages;    // 总页数,在循环进行一次之后,才能被赋值,这里可以只声明或赋默认值
        
        do{
            // dubbo调用查询当前页的spu数据
            JsonPage<Spu> spus=dubboSpuService.getSpuByPage(i,2);
            // 我们从数据查询出来的类型Spu不能直接向ES中执行新增
            // 需要转换为SpuForElastic类型,所以我们先声明这样类型的集合
            List<SpuForElastic> esSpus=new ArrayList<>();
            // 遍历数据库中查询出的当页数据
            for(Spu spu : spus.getList()){
                // 下面开始转换,实例化新实体类,并将同名属性赋值给它
                SpuForElastic esSpu=new SpuForElastic();
                BeanUtils.copyProperties(spu,esSpu);
                // 赋值完成后,添加到上面的集合中!
                esSpus.add(esSpu);
            }
            // esSpus集合中已经包含了本次查询的所有数据,下面执行批量新增到ES的操作
            spuRepository.saveAll(esSpus);
            log.info("成功加载了第{}页数据",i);
            // 下次循环i值自增
            i++;
            // 给pages赋值总页数
            pages=spus.getTotalPage();
        }while(i<=pages);
 
    }
 
    @Override
    public JsonPage<SpuForElastic> search(String keyword, Integer page, Integer pageSize) {
        return null;
    }
}

创建测试类运行即可

// 下面注解必须加!!!!!!
@SpringBootTest
public class SpuElasticTest {
 
    @Autowired
    private ISearchService searchService;
 
    @Test
    void loadData(){
        searchService.loadSpuByPage();
        System.out.println("ok");
    }
}

运行测试前保证

Nacos\Seata\\**ES**启动

启动product模块

运行测试,没有报错即可

验证ES中的数据

我们再通过连接ES来进行全查

检验上面执行的加载工作是否达到效果

仍然在测试类中,再编写一个方法,使用SpringData提供的全查方法查询后遍历输出

检查输出内容,代码如下

@Autowired
private  SpuForElasticRepository spuRepository;
@Test
void showData(){
    Iterable<SpuForElastic> spus=spuRepository.findAll();
    spus.forEach(spu -> System.out.println(spu));
}

搜索功能的实现

电商网站一定会有按用户输入的关键字进行搜索的功能

这样的搜索都是搜索ES查询到的结果

上面我们已经将所有spu信息保存到了ES中

下面通过查询逻辑将搜索结果显示出来

编写SpringData自定义查询

如果我们按照关键字"手机"进行搜索

可以在Repository接口中编写自定义方法

@Repository
public interface SpuForElasticRepository extends
                            ElasticsearchRepository<SpuForElastic,Long> {
    // 查询title字段包含指定关键字(分词)的spu数据
    Iterable<SpuForElastic> querySpuForElasticsByTitleMatches(String title);
 
}

上面的查询可以通过测试类测试

@Test
void getSpuByTitle(){
    // 根据title指定的分词查询数据
    Iterable<SpuForElastic> spus=
            spuRepository.querySpuForElasticsByTitleMatches("手机");
    spus.forEach(spu -> System.out.println(spu));
}

尤其需要关注ES是否已经启动

不需要其它项目的支持,直接运行测试即可

我们业务中需要4个字段的条件查询,是可以通过方法名称的编写实现的

SpringData也支持我们在代码中编写查询语句,以避免过长的方法名

@Query("{\n" +
        "    \"bool\": {\n" +
        "      \"should\": [\n" +
        "        { \"match\": { \"name\": \"?0\"}},\n" +
        "        { \"match\": { \"title\": \"?0\"}},\n" +
        "        { \"match\": { \"description\": \"?0\"}},\n" +
        "        { \"match\": { \"category_name\": \"?0\"}}\n" +
        "        ]\n" +
        "     }\n" +
        "}")
// 上面指定查询语句的情况下,方法的方法名就可以随意起名了,参数对应查询语句中的"?0"
Iterable<SpuForElastic> querySearch(String keyword);

测试代码

@Test
void getSpuByQuery(){
    // 调用查询四个字段包含指定关键字数据的方法
    Iterable<SpuForElastic> spus=
            spuRepository.querySearch("华为手机");
    spus.forEach(spu -> System.out.println(spu));
}

拓展

在实际开发中

我们数据库中的数据和Elasticsearch中的数据还存在同步问题

为了保持数据库中的数据和Elasticsearch中的数据一致

我们可以使用下面的办法

1.在所有对spu表进行增删改的操作代码运行后,也对ES中的数据进行相同的操作

​ 但是会有比较多的代码要编写,而且有比较明显的事务处理问题

1. 实际上业界使用Elasticsearch有一个组合叫ELK,其中L(logstash)可以实现自动同步数据库和ES的信息

实际运行查询的逻辑是需要分页的

所以要按照SpringData支持的分页查询格式修改上面的查询代码

@Query("{\n" +
        "    \"bool\": {\n" +
        "      \"should\": [\n" +
        "        { \"match\": { \"name\": \"?0\"}},\n" +
        "        { \"match\": { \"title\": \"?0\"}},\n" +
        "        { \"match\": { \"description\": \"?0\"}},\n" +
        "        { \"match\": { \"category_name\": \"?0\"}}\n" +
        "        ]\n" +
        "     }\n" +
        "}")
// 上面指定查询语句的情况下,方法的方法名就可以随意起名了,参数对应查询语句中的"?0"
//↓↓↓↓                                          ↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓
Page<SpuForElastic> querySearch(String keyword, Pageable pageable);

修改了方法的定义,原有的调用会报错,注释掉测试中的调用代码即可!

开发搜索功能的业务逻辑层

SearchServiceImpl类添加实现方法如下

// 根据指定关键字分页查询ES中商品信息的方法
@Override
public JsonPage<SpuForElastic> search(
        String keyword, Integer page, Integer pageSize) {
    // 根据参数中的分页数据,执行分页查询,注意SpringData分页页码从0开始
    Page<SpuForElastic> spus=spuRepository.querySearch(
                          keyword, PageRequest.of(page-1,pageSize));
    // 当前业务逻辑层返回值是JsonPage类型,但是我们SpringData查询返回Page类型
    // 我们需要将Page类型对象转换为JsonPage返回
    // 可以在JsonPage类中编写一个专门转换的方法,也可以直接在当前方法中转换
    JsonPage<SpuForElastic> jsonPage=new JsonPage<>();
    // 分页信息
    jsonPage.setPage(page);
    jsonPage.setPageSize(pageSize);
    jsonPage.setTotal(spus.getTotalElements());
    jsonPage.setTotalPage(spus.getTotalPages());
    // 分页数据
    jsonPage.setList(spus.getContent());
    // 别忘了返回!!!
    return jsonPage;
}

开发控制层代码

创建controller包

包中创建SearchController编写搜索方法,代码如下

@RestController
@RequestMapping("/search")
@Api(tags = "搜索模块")
public class SearchController {
    @Autowired
    private ISearchService searchService;
 
    // 搜索功能设计的路径为: localhost:10008/search
    // 因为搜索模块功能少,路径可以尽量简练
    // @GetMapping后面什么都不写,就表示采用类上声明的/search路径即可
    @GetMapping
    @ApiOperation("根据用户输入的关键字分页查询商品信息")
    @ApiImplicitParams({
          @ApiImplicitParam(value = "搜索关键字",name = "keyword",example = "手机"),
          @ApiImplicitParam(value = "页码",name = "page",example = "1"),
          @ApiImplicitParam(value = "每页条数",name = "pageSize",example = "2"),
    })
    public JsonResult<JsonPage<SpuForElastic>> searchByKeyword(
            String keyword,Integer page,Integer pageSize){
        JsonPage<SpuForElastic> jsonPage=
                searchService.search(keyword, page, pageSize);
        return JsonResult.ok(jsonPage);
    }
 
}

测试

保证Nacos\seata\ES启动

因为当前search项目过滤器解析JWT所以需要登录才能访问

启动search模块

建议启动passport模块去进行登录获得jwt

复制JWT后,粘贴到search模块的全局参数,再测试运行search模块