devbox
神奇cpp
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

黑马头条详解（四）

作者：神奇cpp | 2024-08-16 12:07:23

赞

踩

黑马头条

七、app端文章搜索

 

7.1、搭建ElasticSearch环境

①拉取镜像

docker pull elasticsearch:7.4.0

②创建容器

docker run -id --name elasticsearch -d --restart=always -p 9200:9200 -p 9300:9300 -v /usr/share/elasticsearch/plugins:/usr/share/elasticsearch/plugins -e "discovery.type=single-node" elasticsearch:7.4.0

③配置中文分词器 ik

因为在创建elasticsearch容器的时候，映射了目录，所以可以在宿主机上进行配置ik中文分词器

在去选择ik分词器的时候，需要与elasticsearch的版本好对应上

把资料中的elasticsearch-analysis-ik-7.4.0.zip上传到服务器上,放到对应目录（plugins）解压

  1. #切换目录
  2. cd /usr/share/elasticsearch/plugins
  3. #新建目录
  4. mkdir analysis-ik
  5. cd analysis-ik
  6. #root根目录中拷贝文件
  7. mv elasticsearch-analysis-ik-7.4.0.zip /usr/share/elasticsearch/plugins/analysis-ik
  8. #解压文件
  9. cd /usr/share/elasticsearch/plugins/analysis-ik
  10. unzip elasticsearch-analysis-ik-7.4.0.zip

postman测试

7.2、需求分析

 

实现思路

使用postman添加映射

put请求 ： http://192.168.200.130:9200/app_info_article  

  1. {
  2.     "mappings":{
  3.         "properties":{
  4.             "id":{
  5.                 "type":"long"
  6.             },
  7.             "publishTime":{
  8.                 "type":"date"
  9.             },
  10.             "layout":{
  11.                 "type":"integer"
  12.             },
  13.             "images":{
  14.                 "type":"keyword",
  15.                 "index": false
  16.             },
  17.             "staticUrl":{
  18.                 "type":"keyword",
  19.                 "index": false
  20.             },
  21.             "authorId": {
  22.                 "type": "long"
  23.             },
  24.             "authorName": {
  25.                 "type": "text"
  26.             },
  27.             "title":{
  28.                 "type":"text",
  29.                 "analyzer":"ik_smart"
  30.             },
  31.             "content":{
  32.                 "type":"text",
  33.                 "analyzer":"ik_smart"
  34.             }
  35.         }
  36.     }
  37. }

GET请求查询映射：http://192.168.200.130:9200/app_info_article

DELETE请求，删除索引及映射：http://192.168.200.130:9200/app_info_article

GET请求，查询所有文档：http://192.168.200.130:9200/app_info_article/_search

7.3、数据初始化到索引库

导入es-init到heima-leadnews-test工程下

 查询所有的文章信息，批量导入到es索引库中

  1. package com.heima.es;
  2.  
  3. import com.alibaba.fastjson.JSON;
  4. import com.heima.es.mapper.ApArticleMapper;
  5. import com.heima.es.pojo.SearchArticleVo;
  6. import org.elasticsearch.action.bulk.BulkRequest;
  7. import org.elasticsearch.action.index.IndexRequest;
  8. import org.elasticsearch.client.RequestOptions;
  9. import org.elasticsearch.client.RestHighLevelClient;
  10. import org.elasticsearch.common.xcontent.XContentType;
  11. import org.junit.Test;
  12. import org.junit.runner.RunWith;
  13. import org.springframework.beans.factory.annotation.Autowired;
  14. import org.springframework.boot.test.context.SpringBootTest;
  15. import org.springframework.test.context.junit4.SpringRunner;
  16.  
  17. import java.util.List;
  18.  
  19.  
  20. @SpringBootTest
  21. @RunWith(SpringRunner.class)
  22. public class ApArticleTest {
  23.  
  24.     @Autowired
  25.     private ApArticleMapper apArticleMapper;
  26.  
  27.     @Autowired
  28.     private RestHighLevelClient restHighLevelClient;
  29.  
  30.  
  31.     /**
  32.      * 注意：数据量的导入，如果数据量过大，需要分页导入
  33.      * @throws Exception
  34.      */
  35.     @Test
  36.     public void init() throws Exception {
  37.  
  38.         //1.查询所有符合条件的文章数据
  39.         List<SearchArticleVo> searchArticleVos = apArticleMapper.loadArticleList();
  40.  
  41.         //2.批量导入到es索引库
  42.  
  43.         BulkRequest bulkRequest = new BulkRequest("app_info_article");
  44.  
  45.         for (SearchArticleVo searchArticleVo : searchArticleVos) {
  46.  
  47.             IndexRequest indexRequest = new IndexRequest().id(searchArticleVo.getId().toString())
  48.                     .source(JSON.toJSONString(searchArticleVo), XContentType.JSON);
  49.  
  50.             //批量添加数据
  51.             bulkRequest.add(indexRequest);
  52.  
  53.         }
  54.         restHighLevelClient.bulk(bulkRequest, RequestOptions.DEFAULT);
  55.  
  56.     }
  57.  
  58. }

 7.4、app端文章搜索功能实现

接口

①导入 heima-leadnews-search  

②在heima-leadnews-service的pom中添加依赖

  1. <!--elasticsearch-->
  2. <dependency>
  3.     <groupId>org.elasticsearch.client</groupId>
  4.     <artifactId>elasticsearch-rest-high-level-client</artifactId>
  5.     <version>7.4.0</version>
  6. </dependency>
  7. <dependency>
  8.     <groupId>org.elasticsearch.client</groupId>
  9.     <artifactId>elasticsearch-rest-client</artifactId>
  10.     <version>7.4.0</version>
  11. </dependency>
  12. <dependency>
  13.     <groupId>org.elasticsearch</groupId>
  14.     <artifactId>elasticsearch</artifactId>
  15.     <version>7.4.0</version>
  16. </dependency>

 ③nacos配置中心leadnews-search

  1. spring:
  2.   autoconfigure:
  3.     exclude: org.springframework.boot.autoconfigure.jdbc.DataSourceAutoConfiguration
  4. elasticsearch:
  5.   host: 192.168.200.130
  6.   port: 9200

④搜索接口定义

  1. package com.heima.search.controller.v1;
  2.  
  3. import com.heima.model.common.dtos.ResponseResult;
  4. import com.heima.model.search.dtos.UserSearchDto;
  5. import com.heima.search.service.ArticleSearchService;
  6. import org.springframework.beans.factory.annotation.Autowired;
  7. import org.springframework.web.bind.annotation.PostMapping;
  8. import org.springframework.web.bind.annotation.RequestBody;
  9. import org.springframework.web.bind.annotation.RequestMapping;
  10. import org.springframework.web.bind.annotation.RestController;
  11.  
  12. import java.io.IOException;
  13.  
  14. @RestController
  15. @RequestMapping("/api/v1/article/search")
  16. public class ArticleSearchController {
  17.  
  18.     @Autowired
  19.     private ArticleSearchService articleSearchService;
  20.  
  21.     @PostMapping("/search")
  22.     public ResponseResult search(@RequestBody UserSearchDto dto) throws IOException {
  23.         return articleSearchService.search(dto);
  24.     }
  25. }

UserSearchDto

  1. package com.heima.model.search.dtos;
  2.  
  3. import lombok.Data;
  4.  
  5. import java.util.Date;
  6.  
  7.  
  8. @Data
  9. public class UserSearchDto {
  10.  
  11.     /**
  12.     * 搜索关键字
  13.     */
  14.     String searchWords;
  15.     /**
  16.     * 当前页
  17.     */
  18.     int pageNum;
  19.     /**
  20.     * 分页条数
  21.     */
  22.     int pageSize;
  23.     /**
  24.     * 最小时间
  25.     */
  26.     Date minBehotTime;
  27.  
  28.     public int getFromIndex(){
  29.         if(this.pageNum<1)return 0;
  30.         if(this.pageSize<1) this.pageSize = 10;
  31.         return this.pageSize * (pageNum-1);
  32.     }
  33. }

⑤创建业务层接口：ApArticleSearchService

  1. package com.heima.search.service;
  2.  
  3. import com.heima.model.search.dtos.UserSearchDto;
  4. import com.heima.model.common.dtos.ResponseResult;
  5.  
  6. import java.io.IOException;
  7.  
  8. public interface ArticleSearchService {
  9.  
  10.     /**
  11.      ES文章分页搜索
  12.      @return
  13.      */
  14.     ResponseResult search(UserSearchDto userSearchDto) throws IOException;
  15. }

实现类

  1. package com.heima.search.service.impl;
  2.  
  3. import com.alibaba.fastjson.JSON;
  4. import com.heima.model.common.dtos.ResponseResult;
  5. import com.heima.model.common.enums.AppHttpCodeEnum;
  6. import com.heima.model.search.dtos.UserSearchDto;
  7. import com.heima.model.user.pojos.ApUser;
  8. import com.heima.search.service.ArticleSearchService;
  9. import com.heima.utils.thread.AppThreadLocalUtil;
  10. import lombok.extern.slf4j.Slf4j;
  11. import org.apache.commons.lang3.StringUtils;
  12. import org.elasticsearch.action.search.SearchRequest;
  13. import org.elasticsearch.action.search.SearchResponse;
  14. import org.elasticsearch.client.RequestOptions;
  15. import org.elasticsearch.client.RestHighLevelClient;
  16. import org.elasticsearch.common.text.Text;
  17. import org.elasticsearch.index.query.*;
  18. import org.elasticsearch.search.SearchHit;
  19. import org.elasticsearch.search.builder.SearchSourceBuilder;
  20. import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder;
  21. import org.elasticsearch.search.sort.SortOrder;
  22. import org.springframework.beans.factory.annotation.Autowired;
  23. import org.springframework.stereotype.Service;
  24.  
  25. import java.io.IOException;
  26. import java.util.ArrayList;
  27. import java.util.List;
  28. import java.util.Map;
  29.  
  30. @Service
  31. @Slf4j
  32. public class ArticleSearchServiceImpl implements ArticleSearchService {
  33.  
  34.     @Autowired
  35.     private RestHighLevelClient restHighLevelClient;
  36.  
  37.     /**
  38.      * es文章分页检索
  39.      *
  40.      * @param dto
  41.      * @return
  42.      */
  43.     @Override
  44.     public ResponseResult search(UserSearchDto dto) throws IOException {
  45.  
  46.         //1.检查参数
  47.         if(dto == null || StringUtils.isBlank(dto.getSearchWords())){
  48.             return ResponseResult.errorResult(AppHttpCodeEnum.PARAM_INVALID);
  49.         }
  50.  
  51.         //2.设置查询条件
  52.         SearchRequest searchRequest = new SearchRequest("app_info_article");
  53.         SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  54.  
  55.         //布尔查询
  56.         BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
  57.  
  58.         //关键字的分词之后查询
  59.         QueryStringQueryBuilder queryStringQueryBuilder = QueryBuilders.queryStringQuery(dto.getSearchWords()).field("title").field("content").defaultOperator(Operator.OR);
  60.         boolQueryBuilder.must(queryStringQueryBuilder);
  61.  
  62.         //查询小于mindate的数据
  63.         RangeQueryBuilder rangeQueryBuilder = QueryBuilders.rangeQuery("publishTime").lt(dto.getMinBehotTime().getTime());
  64.         boolQueryBuilder.filter(rangeQueryBuilder);
  65.  
  66.         //分页查询
  67.         searchSourceBuilder.from(0);
  68.         searchSourceBuilder.size(dto.getPageSize());
  69.  
  70.         //按照发布时间倒序查询
  71.         searchSourceBuilder.sort("publishTime", SortOrder.DESC);
  72.  
  73.         //设置高亮  title
  74.         HighlightBuilder highlightBuilder = new HighlightBuilder();
  75.         highlightBuilder.field("title");
  76.         highlightBuilder.preTags("<font style='color: red; font-size: inherit;'>");
  77.         highlightBuilder.postTags("</font>");
  78.         searchSourceBuilder.highlighter(highlightBuilder);
  79.  
  80.  
  81.         searchSourceBuilder.query(boolQueryBuilder);
  82.         searchRequest.source(searchSourceBuilder);
  83.         SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
  84.  
  85.  
  86.         //3.结果封装返回
  87.  
  88.         List<Map> list = new ArrayList<>();
  89.  
  90.         SearchHit[] hits = searchResponse.getHits().getHits();
  91.         for (SearchHit hit : hits) {
  92.             String json = hit.getSourceAsString();
  93.             Map map = JSON.parseObject(json, Map.class);
  94.             //处理高亮
  95.             if(hit.getHighlightFields() != null && hit.getHighlightFields().size() > 0){
  96.                 Text[] titles = hit.getHighlightFields().get("title").getFragments();
  97.                 String title = StringUtils.join(titles);
  98.                 //高亮标题
  99.                 map.put("h_title",title);
  100.             }else {
  101.                 //原始标题
  102.                 map.put("h_title",map.get("title"));
  103.             }
  104.             list.add(map);
  105.         }
  106.  
  107.         return ResponseResult.okResult(list);
  108.  
  109.     }
  110. }

⑥测试

需要在app的网关中添加搜索微服务的路由配置

  1. #搜索微服务
  2. - id: leadnews-search
  3.  uri: lb://leadnews-search
  4.  predicates:
  5.    - Path=/search/**
  6.  filters:
  7.    - StripPrefix= 1

7.5、新增文章创建索引

思路

一、文章微服务发送消息

①把SearchArticleVo放到model工程下

  1. package com.heima.model.search.vos;
  2.  
  3. import lombok.Data;
  4.  
  5. import java.util.Date;
  6.  
  7. @Data
  8. public class SearchArticleVo {
  9.  
  10.     // 文章id
  11.     private Long id;
  12.     // 文章标题
  13.     private String title;
  14.     // 文章发布时间
  15.     private Date publishTime;
  16.     // 文章布局
  17.     private Integer layout;
  18.     // 封面
  19.     private String images;
  20.     // 作者id
  21.     private Long authorId;
  22.     // 作者名词
  23.     private String authorName;
  24.     //静态url
  25.     private String staticUrl;
  26.     //文章内容
  27.     private String content;
  28.  
  29. }

 ②文章微服务的ArticleFreemarkerService中的buildArticleToMinIO方法中收集数据并发送消息

  1. package com.heima.article.service.impl;
  2.  
  3. import com.alibaba.fastjson.JSON;
  4. import com.alibaba.fastjson.JSONArray;
  5. import com.baomidou.mybatisplus.core.toolkit.Wrappers;
  6. import com.heima.article.mapper.ApArticleContentMapper;
  7. import com.heima.article.service.ApArticleService;
  8. import com.heima.article.service.ArticleFreemarkerService;
  9. import com.heima.common.constants.ArticleConstants;
  10. import com.heima.file.service.FileStorageService;
  11. import com.heima.model.article.pojos.ApArticle;
  12. import com.heima.model.search.vos.SearchArticleVo;
  13. import freemarker.template.Configuration;
  14. import freemarker.template.Template;
  15. import lombok.extern.slf4j.Slf4j;
  16. import org.apache.commons.lang3.StringUtils;
  17. import org.springframework.beans.BeanUtils;
  18. import org.springframework.beans.factory.annotation.Autowired;
  19. import org.springframework.kafka.core.KafkaTemplate;
  20. import org.springframework.scheduling.annotation.Async;
  21. import org.springframework.stereotype.Service;
  22. import org.springframework.transaction.annotation.Transactional;
  23.  
  24. import java.io.ByteArrayInputStream;
  25. import java.io.InputStream;
  26. import java.io.StringWriter;
  27. import java.util.HashMap;
  28. import java.util.Map;
  29.  
  30. @Service
  31. @Slf4j
  32. @Transactional
  33. public class ArticleFreemarkerServiceImpl implements ArticleFreemarkerService {
  34.  
  35.     @Autowired
  36.     private ApArticleContentMapper apArticleContentMapper;
  37.  
  38.     @Autowired
  39.     private Configuration configuration;
  40.  
  41.     @Autowired
  42.     private FileStorageService fileStorageService;
  43.  
  44.     @Autowired
  45.     private ApArticleService apArticleService;
  46.  
  47.     /**
  48.      * 生成静态文件上传到minIO中
  49.      * @param apArticle
  50.      * @param content
  51.      */
  52.     @Async
  53.     @Override
  54.     public void buildArticleToMinIO(ApArticle apArticle, String content) {
  55.         //已知文章的id
  56.         //4.1 获取文章内容
  57.         if(StringUtils.isNotBlank(content)){
  58.             //4.2 文章内容通过freemarker生成html文件
  59.             Template template = null;
  60.             StringWriter out = new StringWriter();
  61.             try {
  62.                 template = configuration.getTemplate("article.ftl");
  63.                 //数据模型
  64.                 Map<String,Object> contentDataModel = new HashMap<>();
  65.                 contentDataModel.put("content", JSONArray.parseArray(content));
  66.                 //合成
  67.                 template.process(contentDataModel,out);
  68.             } catch (Exception e) {
  69.                 e.printStackTrace();
  70.             }
  71.  
  72.  
  73.             //4.3 把html文件上传到minio中
  74.             InputStream in = new ByteArrayInputStream(out.toString().getBytes());
  75.             String path = fileStorageService.uploadHtmlFile("", apArticle.getId() + ".html", in);
  76.  
  77.  
  78.             //4.4 修改ap_article表，保存static_url字段
  79.             apArticleService.update(Wrappers.<ApArticle>lambdaUpdate().eq(ApArticle::getId,apArticle.getId())
  80.                     .set(ApArticle::getStaticUrl,path));
  81.  
  82.             //发送消息，创建索引
  83.             createArticleESIndex(apArticle,content,path);
  84.  
  85.         }
  86.     }
  87.  
  88.     @Autowired
  89.     private KafkaTemplate<String,String> kafkaTemplate;
  90.  
  91.     /**
  92.      * 送消息，创建索引
  93.      * @param apArticle
  94.      * @param content
  95.      * @param path
  96.      */
  97.     private void createArticleESIndex(ApArticle apArticle, String content, String path) {
  98.         SearchArticleVo vo = new SearchArticleVo();
  99.         BeanUtils.copyProperties(apArticle,vo);
  100.         vo.setContent(content);
  101.         vo.setStaticUrl(path);
  102.  
  103.         kafkaTemplate.send(ArticleConstants.ARTICLE_ES_SYNC_TOPIC, JSON.toJSONString(vo));
  104.     }
  105.  
  106. }

在ArticleConstants类中添加新的常量

  1. package com.heima.common.constants;
  2.  
  3. public class ArticleConstants {
  4.     public static final Short LOADTYPE_LOAD_MORE = 1;
  5.     public static final Short LOADTYPE_LOAD_NEW = 2;
  6.     public static final String DEFAULT_TAG = "__all__";
  7.  
  8.     public static final String ARTICLE_ES_SYNC_TOPIC = "article.es.sync.topic";
  9.  
  10.     public static final Integer HOT_ARTICLE_LIKE_WEIGHT = 3;
  11.     public static final Integer HOT_ARTICLE_COMMENT_WEIGHT = 5;
  12.     public static final Integer HOT_ARTICLE_COLLECTION_WEIGHT = 8;
  13.  
  14.     public static final String HOT_ARTICLE_FIRST_PAGE = "hot_article_first_page_";
  15. }

 ③文章微服务集成kafka发送消息

  1. kafka:
  2.     bootstrap-servers: 192.168.200.130:9092
  3.     producer:
  4.       retries: 10
  5.       key-serializer: org.apache.kafka.common.serialization.StringSerializer
  6.       value-serializer: org.apache.kafka.common.serialization.StringSerializer

 二、搜索微服务接收消息并创建索引

①搜索微服务中添加kafka的配置,nacos配置如下

  1. spring:
  2.   kafka:
  3.     bootstrap-servers: 192.168.200.130:9092
  4.     consumer:
  5.       group-id: ${spring.application.name}
  6.       key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
  7.       value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

②定义监听接收消息,保存索引数据

  1. package com.heima.search.listener;
  2.  
  3. import com.alibaba.fastjson.JSON;
  4. import com.heima.common.constants.ArticleConstants;
  5. import com.heima.model.search.vos.SearchArticleVo;
  6. import lombok.extern.slf4j.Slf4j;
  7. import org.apache.commons.lang3.StringUtils;
  8. import org.elasticsearch.action.index.IndexRequest;
  9. import org.elasticsearch.client.RequestOptions;
  10. import org.elasticsearch.client.RestHighLevelClient;
  11. import org.elasticsearch.common.xcontent.XContentType;
  12. import org.springframework.beans.factory.annotation.Autowired;
  13. import org.springframework.kafka.annotation.KafkaListener;
  14. import org.springframework.stereotype.Component;
  15.  
  16. import java.io.IOException;
  17.  
  18. @Component
  19. @Slf4j
  20. public class SyncArticleListener {
  21.  
  22.     @Autowired
  23.     private RestHighLevelClient restHighLevelClient;
  24.  
  25.     @KafkaListener(topics = ArticleConstants.ARTICLE_ES_SYNC_TOPIC)
  26.     public void onMessage(String message){
  27.         if(StringUtils.isNotBlank(message)){
  28.  
  29.             log.info("SyncArticleListener,message={}",message);
  30.  
  31.             SearchArticleVo searchArticleVo = JSON.parseObject(message, SearchArticleVo.class);
  32.             IndexRequest indexRequest = new IndexRequest("app_info_article");
  33.             indexRequest.id(searchArticleVo.getId().toString());
  34.             indexRequest.source(message, XContentType.JSON);
  35.             try {
  36.                 restHighLevelClient.index(indexRequest, RequestOptions.DEFAULT);
  37.             } catch (IOException e) {
  38.                 e.printStackTrace();
  39.                 log.error("sync es error={}",e);
  40.             }
  41.         }
  42.  
  43.     }
  44. }

7.6、app端搜索-搜索记录

 

  • 展示用户的搜索记录10条，按照搜索关键词的时间倒序

  • 可以删除搜索记录

  • 保存历史记录，保存10条，多余的则删除最久的历史记录

用户的搜索记录，需要给每一个用户都保存一份，数据量较大，要求加载速度快，通常这样的数据存储到mongodb更合适，不建议直接存储到关系型数据库中  

 安装MongoDB

拉取镜像

docker pull mongo

创建容器

docker run -di --name mongo-service --restart=always -p 27017:27017 -v ~/data/mongodata:/data mongo

导入资料中的mongo-demo项目到heima-leadnews-test中

第一：mongo依赖

  1. <dependency>
  2.     <groupId>org.springframework.boot</groupId>
  3.     <artifactId>spring-boot-starter-data-mongodb</artifactId>
  4. </dependency>

第二：mongo配置  

  1. server:
  2.   port: 9998
  3. spring:
  4.   data:
  5.     mongodb:
  6.       host: 192.168.200.130
  7.       port: 27017
  8.       database: leadnews-history

第三：映射  

  1. package com.itheima.mongo.pojo;
  2.  
  3. import lombok.Data;
  4. import org.springframework.data.mongodb.core.mapping.Document;
  5.  
  6. import java.io.Serializable;
  7. import java.util.Date;
  8.  
  9. /**
  10.  * <p>
  11.  * 联想词表
  12.  * </p>
  13.  *
  14.  * @author itheima
  15.  */
  16. @Data
  17. @Document("ap_associate_words")
  18. public class ApAssociateWords implements Serializable {
  19.  
  20.     private static final long serialVersionUID = 1L;
  21.  
  22.     private String id;
  23.  
  24.     /**
  25.      * 联想词
  26.      */
  27.     private String associateWords;
  28.  
  29.     /**
  30.      * 创建时间
  31.      */
  32.     private Date createdTime;
  33.  
  34. }

核心方法

  1. package com.itheima.mongo.test;
  2.  
  3.  
  4. import com.itheima.mongo.MongoApplication;
  5. import com.itheima.mongo.pojo.ApAssociateWords;
  6. import org.junit.Test;
  7. import org.junit.runner.RunWith;
  8. import org.springframework.beans.factory.annotation.Autowired;
  9. import org.springframework.boot.test.context.SpringBootTest;
  10. import org.springframework.data.domain.Sort;
  11. import org.springframework.data.mongodb.core.MongoTemplate;
  12. import org.springframework.data.mongodb.core.query.Criteria;
  13. import org.springframework.data.mongodb.core.query.Query;
  14. import org.springframework.test.context.junit4.SpringRunner;
  15.  
  16. import java.util.Date;
  17. import java.util.List;
  18.  
  19. @SpringBootTest(classes = MongoApplication.class)
  20. @RunWith(SpringRunner.class)
  21. public class MongoTest {
  22.  
  23.  
  24.     @Autowired
  25.     private MongoTemplate mongoTemplate;
  26.  
  27.     //保存
  28.     @Test
  29.     public void saveTest(){
  30.         /*for (int i = 0; i < 10; i++) {
  31.             ApAssociateWords apAssociateWords = new ApAssociateWords();
  32.             apAssociateWords.setAssociateWords("黑马头条");
  33.             apAssociateWords.setCreatedTime(new Date());
  34.             mongoTemplate.save(apAssociateWords);
  35.         }*/
  36.         ApAssociateWords apAssociateWords = new ApAssociateWords();
  37.         apAssociateWords.setAssociateWords("黑马直播");
  38.         apAssociateWords.setCreatedTime(new Date());
  39.         mongoTemplate.save(apAssociateWords);
  40.  
  41.     }
  42.  
  43.     //查询一个
  44.     @Test
  45.     public void saveFindOne(){
  46.         ApAssociateWords apAssociateWords = mongoTemplate.findById("60bd973eb0c1d430a71a7928", ApAssociateWords.class);
  47.         System.out.println(apAssociateWords);
  48.     }
  49.  
  50.     //条件查询
  51.     @Test
  52.     public void testQuery(){
  53.         Query query = Query.query(Criteria.where("associateWords").is("黑马头条"))
  54.                 .with(Sort.by(Sort.Direction.DESC,"createdTime"));
  55.         List<ApAssociateWords> apAssociateWordsList = mongoTemplate.find(query, ApAssociateWords.class);
  56.         System.out.println(apAssociateWordsList);
  57.     }
  58.  
  59.     @Test
  60.     public void testDel(){
  61.         mongoTemplate.remove(Query.query(Criteria.where("associateWords").is("黑马头条")),ApAssociateWords.class);
  62.     }
  63. }

7.7、保存搜索记录 

 

 一、搜索微服务集成mongodb

①pom依赖

  1. <dependency>
  2.     <groupId>org.springframework.boot</groupId>
  3.     <artifactId>spring-boot-starter-data-mongodb</artifactId>
  4. </dependency>

②nacos配置

  1. spring:
  2.   data:
  3.    mongodb:
  4.     host: 192.168.200.130
  5.     port: 27017
  6.     database: leadnews-history

③用户搜索记录对应的集合，对应实体类：

  1. package com.heima.search.pojos;
  2.  
  3. import lombok.Data;
  4. import org.springframework.data.mongodb.core.mapping.Document;
  5.  
  6. import java.io.Serializable;
  7. import java.util.Date;
  8.  
  9. /**
  10.  * <p>
  11.  * APP用户搜索信息表
  12.  * </p>
  13.  * @author itheima
  14.  */
  15. @Data
  16. @Document("ap_user_search")
  17. public class ApUserSearch implements Serializable {
  18.  
  19.     private static final long serialVersionUID = 1L;
  20.  
  21.     /**
  22.      * 主键
  23.      */
  24.     private String id;
  25.  
  26.     /**
  27.      * 用户ID
  28.      */
  29.     private Integer userId;
  30.  
  31.     /**
  32.      * 搜索词
  33.      */
  34.     private String keyword;
  35.  
  36.     /**
  37.      * 创建时间
  38.      */
  39.     private Date createdTime;
  40.  
  41. }

二、创建ApUserSearchService新增insert方法  

  1. public interface ApUserSearchService {
  2.  
  3.     /**
  4.      * 保存用户搜索历史记录
  5.      * @param keyword
  6.      * @param userId
  7.      */
  8.     public void insert(String keyword,Integer userId);
  9. }

实现类

  1. @Service
  2. @Slf4j
  3. public class ApUserSearchServiceImpl implements ApUserSearchService {
  4.  
  5.     @Autowired
  6.     private MongoTemplate mongoTemplate;
  7.     /**
  8.      * 保存用户搜索历史记录
  9.      * @param keyword
  10.      * @param userId
  11.      */
  12.     @Override
  13.     @Async
  14.     public void insert(String keyword, Integer userId) {
  15.         //1.查询当前用户的搜索关键词
  16.         Query query = Query.query(Criteria.where("userId").is(userId).and("keyword").is(keyword));
  17.         ApUserSearch apUserSearch = mongoTemplate.findOne(query, ApUserSearch.class);
  18.  
  19.         //2.存在 更新创建时间
  20.         if(apUserSearch != null){
  21.             apUserSearch.setCreatedTime(new Date());
  22.             mongoTemplate.save(apUserSearch);
  23.             return;
  24.         }
  25.  
  26.         //3.不存在，判断当前历史记录总数量是否超过10
  27.         apUserSearch = new ApUserSearch();
  28.         apUserSearch.setUserId(userId);
  29.         apUserSearch.setKeyword(keyword);
  30.         apUserSearch.setCreatedTime(new Date());
  31.  
  32.         Query query1 = Query.query(Criteria.where("userId").is(userId));
  33.         query1.with(Sort.by(Sort.Direction.DESC,"createdTime"));
  34.         List<ApUserSearch> apUserSearchList = mongoTemplate.find(query1, ApUserSearch.class);
  35.  
  36.         if(apUserSearchList == null || apUserSearchList.size() < 10){
  37.             mongoTemplate.save(apUserSearch);
  38.         }else {
  39.             ApUserSearch lastUserSearch = apUserSearchList.get(apUserSearchList.size() - 1);
  40.             mongoTemplate.findAndReplace(Query.query(Criteria.where("id").is(lastUserSearch.getId())),apUserSearch);
  41.         }
  42.     }
  43. }

三、参考自媒体相关微服务，在搜索微服务中获取当前登录的用户

四、在ArticleSearchService的search方法中调用保存历史记录

  1. package com.heima.search.service.impl;
  2.  
  3. import com.alibaba.fastjson.JSON;
  4. import com.heima.model.common.dtos.ResponseResult;
  5. import com.heima.model.common.enums.AppHttpCodeEnum;
  6. import com.heima.model.search.dtos.UserSearchDto;
  7. import com.heima.model.user.pojos.ApUser;
  8. import com.heima.search.service.ApUserSearchService;
  9. import com.heima.search.service.ArticleSearchService;
  10. import com.heima.utils.thread.AppThreadLocalUtil;
  11. import lombok.extern.slf4j.Slf4j;
  12. import org.apache.commons.lang3.StringUtils;
  13. import org.elasticsearch.action.search.SearchRequest;
  14. import org.elasticsearch.action.search.SearchResponse;
  15. import org.elasticsearch.client.RequestOptions;
  16. import org.elasticsearch.client.RestHighLevelClient;
  17. import org.elasticsearch.common.text.Text;
  18. import org.elasticsearch.index.query.*;
  19. import org.elasticsearch.search.SearchHit;
  20. import org.elasticsearch.search.builder.SearchSourceBuilder;
  21. import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder;
  22. import org.elasticsearch.search.sort.SortOrder;
  23. import org.springframework.beans.factory.annotation.Autowired;
  24. import org.springframework.stereotype.Service;
  25.  
  26. import java.io.IOException;
  27. import java.util.ArrayList;
  28. import java.util.List;
  29. import java.util.Map;
  30.  
  31. @Service
  32. @Slf4j
  33. public class ArticleSearchServiceImpl implements ArticleSearchService {
  34.  
  35.     @Autowired
  36.     private RestHighLevelClient restHighLevelClient;
  37.  
  38.     @Autowired
  39.     private ApUserSearchService apUserSearchService;
  40.  
  41.     /**
  42.      * es文章分页检索
  43.      *
  44.      * @param dto
  45.      * @return
  46.      */
  47.     @Override
  48.     public ResponseResult search(UserSearchDto dto) throws IOException {
  49.  
  50.         //1.检查参数
  51.         if(dto == null || StringUtils.isBlank(dto.getSearchWords())){
  52.             return ResponseResult.errorResult(AppHttpCodeEnum.PARAM_INVALID);
  53.         }
  54.  
  55.         ApUser user = AppThreadLocalUtil.getUser();
  56.  
  57.         //异步调用 保存搜索记录
  58.         if(user != null && dto.getFromIndex() == 0){
  59.             apUserSearchService.insert(dto.getSearchWords(), user.getId());
  60.         }
  61.  
  62.  
  63.         //2.设置查询条件
  64.         SearchRequest searchRequest = new SearchRequest("app_info_article");
  65.         SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  66.  
  67.         //布尔查询
  68.         BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
  69.  
  70.         //关键字的分词之后查询
  71.         QueryStringQueryBuilder queryStringQueryBuilder = QueryBuilders.queryStringQuery(dto.getSearchWords()).field("title").field("content").defaultOperator(Operator.OR);
  72.         boolQueryBuilder.must(queryStringQueryBuilder);
  73.  
  74.         //查询小于mindate的数据
  75.         RangeQueryBuilder rangeQueryBuilder = QueryBuilders.rangeQuery("publishTime").lt(dto.getMinBehotTime().getTime());
  76.         boolQueryBuilder.filter(rangeQueryBuilder);
  77.  
  78.         //分页查询
  79.         searchSourceBuilder.from(0);
  80.         searchSourceBuilder.size(dto.getPageSize());
  81.  
  82.         //按照发布时间倒序查询
  83.         searchSourceBuilder.sort("publishTime", SortOrder.DESC);
  84.  
  85.         //设置高亮  title
  86.         HighlightBuilder highlightBuilder = new HighlightBuilder();
  87.         highlightBuilder.field("title");
  88.         highlightBuilder.preTags("<font style='color: red; font-size: inherit;'>");
  89.         highlightBuilder.postTags("</font>");
  90.         searchSourceBuilder.highlighter(highlightBuilder);
  91.  
  92.  
  93.         searchSourceBuilder.query(boolQueryBuilder);
  94.         searchRequest.source(searchSourceBuilder);
  95.         SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
  96.  
  97.  
  98.         //3.结果封装返回
  99.  
  100.         List<Map> list = new ArrayList<>();
  101.  
  102.         SearchHit[] hits = searchResponse.getHits().getHits();
  103.         for (SearchHit hit : hits) {
  104.             String json = hit.getSourceAsString();
  105.             Map map = JSON.parseObject(json, Map.class);
  106.             //处理高亮
  107.             if(hit.getHighlightFields() != null && hit.getHighlightFields().size() > 0){
  108.                 Text[] titles = hit.getHighlightFields().get("title").getFragments();
  109.                 String title = StringUtils.join(titles);
  110.                 //高亮标题
  111.                 map.put("h_title",title);
  112.             }else {
  113.                 //原始标题
  114.                 map.put("h_title",map.get("title"));
  115.             }
  116.             list.add(map);
  117.         }
  118.  
  119.         return ResponseResult.okResult(list);
  120.  
  121.     }
  122. }

五、保存历史记录中开启异步调用，添加注解@Async

六、在搜索微服务引导类上开启异步调用

7.8、加载搜索记录列表

 ①controller

  1. /**
  2.  * <p>
  3.  * APP用户搜索信息表 前端控制器
  4.  * </p>
  5.  * @author itheima
  6.  */
  7. @Slf4j
  8. @RestController
  9. @RequestMapping("/api/v1/history")
  10. public class ApUserSearchController{
  11.  
  12.     @Autowired
  13.     private ApUserSearchService apUserSearchService;
  14.  
  15.     @PostMapping("/load")
  16.     public ResponseResult findUserSearch() {
  17.         return apUserSearchService.findUserSearch();
  18.     }
  19.  
  20. }

②service

在ApUserSearchService中新增方法  

  1. /**
  2.      查询搜索历史
  3.      @return
  4.      */
  5. ResponseResult findUserSearch();

实现

  1.  /**
  2.      * 查询搜索历史
  3.      *
  4.      * @return
  5.      */
  6. @Override
  7. public ResponseResult findUserSearch() {
  8.     //获取当前用户
  9.     ApUser user = AppThreadLocalUtil.getUser();
  10.     if(user == null){
  11.         return ResponseResult.errorResult(AppHttpCodeEnum.NEED_LOGIN);
  12.     }
  13.  
  14.     //根据用户查询数据，按照时间倒序
  15.     List<ApUserSearch> apUserSearches = mongoTemplate.find(Query.query(Criteria.where("userId").is(user.getId())).with(Sort.by(Sort.Direction.DESC, "createdTime")), ApUserSearch.class);
  16.     return ResponseResult.okResult(apUserSearches);
  17. }

 7.9、删除搜索记录

①在ApUserSearchController接口新增方法

  1. @PostMapping("/del")
  2. public ResponseResult delUserSearch(@RequestBody HistorySearchDto historySearchDto) {
  3.     return apUserSearchService.delUserSearch(historySearchDto);
  4. }

HistorySearchDto

  1. @Data
  2. public class HistorySearchDto {
  3.     /**
  4.     * 接收搜索历史记录id
  5.     */
  6.     String id;
  7. }

②在ApUserSearchService中新增方法

  1.  /**
  2.      删除搜索历史
  3.      @param historySearchDto
  4.      @return
  5.      */
  6. ResponseResult delUserSearch(HistorySearchDto historySearchDto);

 实现

  1. /**
  2.      * 删除历史记录
  3.      *
  4.      * @param dto
  5.      * @return
  6.      */
  7. @Override
  8. public ResponseResult delUserSearch(HistorySearchDto dto) {
  9.     //1.检查参数
  10.     if(dto.getId() == null){
  11.         return ResponseResult.errorResult(AppHttpCodeEnum.PARAM_INVALID);
  12.     }
  13.  
  14.     //2.判断是否登录
  15.     ApUser user = AppThreadLocalUtil.getUser();
  16.     if(user == null){
  17.         return ResponseResult.errorResult(AppHttpCodeEnum.NEED_LOGIN);
  18.     }
  19.  
  20.     //3.删除
  21.     mongoTemplate.remove(Query.query(Criteria.where("userId").is(user.getId()).and("id").is(dto.getId())),ApUserSearch.class);
  22.     return ResponseResult.okResult(AppHttpCodeEnum.SUCCESS);
  23. }

 7.10、关键字联想词

 需求

  • 根据用户输入的关键字展示联想词

搜索词-数据来源

 联想词对应实体类 

  1. package com.heima.search.pojos;
  2.  
  3. import lombok.Data;
  4. import org.springframework.data.mongodb.core.mapping.Document;
  5.  
  6. import java.io.Serializable;
  7. import java.util.Date;
  8.  
  9. /**
  10.  * <p>
  11.  * 联想词表
  12.  * </p>
  13.  *
  14.  * @author itheima
  15.  */
  16. @Data
  17. @Document("ap_associate_words")
  18. public class ApAssociateWords implements Serializable {
  19.  
  20.     private static final long serialVersionUID = 1L;
  21.  
  22.     private String id;
  23.  
  24.     /**
  25.      * 联想词
  26.      */
  27.     private String associateWords;
  28.  
  29.     /**
  30.      * 创建时间
  31.      */
  32.     private Date createdTime;
  33.  
  34. }

通常是网上搜索频率比较高的一些词，通常在企业中有两部分来源：

第一：自己维护搜索词

通过分析用户搜索频率较高的词，按照排名作为搜索词

第二：第三方获取

关键词规划师（百度）、5118、爱站网

功能实现

 ①新建联想词控制器ApAssociateWordsControlle

  1. package com.heima.search.controller.v1;
  2.  
  3. import com.heima.model.common.dtos.ResponseResult;
  4. import com.heima.model.search.dtos.UserSearchDto;
  5. import com.heima.search.service.ApAssociateWordsService;
  6. import lombok.extern.slf4j.Slf4j;
  7. import org.springframework.beans.factory.annotation.Autowired;
  8. import org.springframework.web.bind.annotation.PostMapping;
  9. import org.springframework.web.bind.annotation.RequestBody;
  10. import org.springframework.web.bind.annotation.RequestMapping;
  11. import org.springframework.web.bind.annotation.RestController;
  12.  
  13. /**
  14.  * <p>
  15.  * 联想词表 前端控制器
  16.  * </p>
  17.  * @author itheima
  18.  */
  19. @Slf4j
  20. @RestController
  21. @RequestMapping("/api/v1/associate")
  22. public class ApAssociateWordsController{
  23.  
  24.     @Autowired
  25.     private ApAssociateWordsService apAssociateWordsService;
  26.  
  27.     @PostMapping("/search")
  28.     public ResponseResult findAssociate(@RequestBody UserSearchDto userSearchDto) {
  29.         return apAssociateWordsService.findAssociate(userSearchDto);
  30.     }
  31. }

②新建联想词业务层接口ApAssociateWordsService 

  1. package com.heima.search.service;
  2.  
  3. import com.heima.model.common.dtos.ResponseResult;
  4. import com.heima.model.search.dtos.UserSearchDto;
  5.  
  6. /**
  7.  * <p>
  8.  * 联想词表 服务类
  9.  * </p>
  10.  *
  11.  * @author itheima
  12.  */
  13. public interface ApAssociateWordsService {
  14.  
  15.     /**
  16.      联想词
  17.      @param userSearchDto
  18.      @return
  19.      */
  20.     ResponseResult findAssociate(UserSearchDto userSearchDto);
  21.  
  22. }

实现

  1. package com.heima.search.service.impl;
  2.  
  3. import com.heima.model.common.dtos.ResponseResult;
  4. import com.heima.model.common.enums.AppHttpCodeEnum;
  5. import com.heima.model.search.dtos.UserSearchDto;
  6. import com.heima.search.pojos.ApAssociateWords;
  7. import com.heima.search.service.ApAssociateWordsService;
  8. import org.apache.commons.lang3.StringUtils;
  9. import org.springframework.beans.factory.annotation.Autowired;
  10. import org.springframework.data.mongodb.core.MongoTemplate;
  11. import org.springframework.data.mongodb.core.query.Criteria;
  12. import org.springframework.data.mongodb.core.query.Query;
  13. import org.springframework.stereotype.Service;
  14.  
  15. import java.util.List;
  16.  
  17. /**
  18.  * @Description:
  19.  * @Version: V1.0
  20.  */
  21. @Service
  22. public class ApAssociateWordsServiceImpl implements ApAssociateWordsService {
  23.  
  24.     @Autowired
  25.     MongoTemplate mongoTemplate;
  26.  
  27.     /**
  28.      * 联想词
  29.      * @param userSearchDto
  30.      * @return
  31.      */
  32.     @Override
  33.     public ResponseResult findAssociate(UserSearchDto userSearchDto) {
  34.         //1 参数检查
  35.         if(userSearchDto == null || StringUtils.isBlank(userSearchDto.getSearchWords())){
  36.             return ResponseResult.errorResult(AppHttpCodeEnum.PARAM_INVALID);
  37.         }
  38.         //分页检查
  39.         if (userSearchDto.getPageSize() > 20) {
  40.             userSearchDto.setPageSize(20);
  41.         }
  42.  
  43.         //3 执行查询 模糊查询
  44.         Query query = Query.query(Criteria.where("associateWords").regex(".*?\\" + userSearchDto.getSearchWords() + ".*"));
  45.         query.limit(userSearchDto.getPageSize());
  46.         List<ApAssociateWords> wordsList = mongoTemplate.find(query, ApAssociateWords.class);
  47.  
  48.         return ResponseResult.okResult(wordsList);
  49.     }
  50. }

八、热点文章计算--定时计算

需求

目前实现的思路：从数据库直接按照发布时间倒序查询

​​​​​ 问题1：

如何访问量较大，直接查询数据库，压力较大

问题2：

新发布的文章会展示在前面，并不是热点文章

 实现思路

把热点数据存入redis进行展示

判断文章是否是热点，有几项标准： 点赞数量，评论数量，阅读数量，收藏数量

计算文章热度，有两种方案：

  • 定时计算文章热度

  • 实时计算文章热度

  • 根据文章的行为（点赞、评论、阅读、收藏）计算文章的分值，利用定时任务每天完成一次计算

  • 把分值较大的文章数据存入到redis中

  • App端用户查询文章列表的时候，优先从redis中查询热度较高的文章数据

 8.1、定时任务框架-xxljob

spring传统的定时任务@Scheduled，但是这样存在这一些问题 ：

  • 做集群任务的重复执行问题，可以使用分布式锁解决，但是较麻烦

  • cron表达式定义在代码之中，修改不方便

  • 定时任务失败了，无法重试也没有统计

  • 如果任务量过大，不能有效的分片执行

解决这些问题的方案为：

xxl-job 分布式任务调度框架

8.2、分布式任务调度

当前软件的架构已经开始向分布式架构转变，将单体结构拆分为若干服务，服务之间通过网络交互来完成业务处理。在分布式架构下，一个服务往往会部署多个实例来运行我们的业务，如果在这种分布式系统环境下运行任务调度，我们称之为分布式任务调度。

将任务调度程序分布式构建，这样就可以具有分布式系统的特点，并且提高任务的调度处理能力：

1、并行任务调度

并行任务调度实现靠多线程，如果有大量任务需要调度，此时光靠多线程就会有瓶颈了，因为一台计算机CPU的处理能力是有限的。

如果将任务调度程序分布式部署，每个结点还可以部署为集群，这样就可以让多台计算机共同去完成任务调度，我们可以将任务分割为若干个分片，由不同的实例并行执行，来提高任务调度的处理效率。

2、高可用

若某一个实例宕机，不影响其他实例来执行任务。

3、弹性扩容

当集群中增加实例就可以提高并执行任务的处理效率。

4、任务管理与监测

对系统中存在的所有定时任务进行统一的管理及监测。让开发人员及运维人员能够时刻了解任务执行情况，从而做出快速的应急处理响应。

分布式任务调度面临的问题

当任务调度以集群方式部署，同一个任务调度可能会执行多次，例如：电商系统定期发放优惠券，就可能重复发放优惠券，对公司造成损失，信用卡还款提醒就会重复执行多次，给用户造成烦恼，所以我们需要控制相同的任务在多个运行实例上只执行一次。常见解决方案：

  • 分布式锁，多个实例在任务执行前首先需要获取锁，如果获取失败那么就证明有其他服务已经在运行，如果获取成功那么证明没有服务在运行定时任务，那么就可以执行。

  • ZooKeeper选举，利用ZooKeeper对Leader实例执行定时任务，执行定时任务的时候判断自己是否是Leader，如果不是则不执行，如果是则执行业务逻辑，这样也能达到目的。

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号