devbox
2023面试高手
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

企业级大数据全文快速检索范例（solr IK分词器 jsoup爬虫技术）_快速检索分析页面

作者：2023面试高手 | 2024-02-29 20:49:00

赞

踩

快速检索分析页面

全文检索

全文种类

检索的示意图

 

 

 

正向查询

说明:将全部的数据进行检索.需要的数据一个一个的对比.知道查找成功.缺点:

这样的检索速度会很慢

特点:需要一个一个的循环遍历.直到找到数据

 

 

倒排索引

说明:索引的出现,可以大大提高检索的效率.

先查询商品的索引关键字.之后将商品信息直接返回.这种方式叫做倒排索引

 

 

Lucene

介绍

入门案例

 

 

  1. <!-- 全文检索lucene -->
  2.  
  3. <dependency>
  4.  
  5. <groupId>org.apache.lucene</groupId>
  6.  
  7. <artifactId>lucene-core</artifactId>
  8.  
  9. <version>4.10.2</version>
  10.  
  11. </dependency>
  12.  
  13. <dependency>
  14.  
  15. <groupId>org.apache.lucene</groupId>
  16.  
  17. <artifactId>lucene-analyzers-common</artifactId>
  18.  
  19. <version>4.10.2</version>
  20.  
  21. </dependency>
  22.  
  23. <dependency>
  24.  
  25. <groupId>org.apache.lucene</groupId>
  26.  
  27. <artifactId>lucene-queryparser</artifactId>
  28.  
  29. <version>4.10.2</version>
  30.  
  31. </dependency>
  32.  
  33.  
  34.  
  35. <!-- IK分词器 -->
  36.  
  37. <dependency>
  38.  
  39. <groupId>org.wltea.analyzer</groupId>
  40.  
  41. <artifactId>ik-analyzer</artifactId>
  42.  
  43. <version>2012FF_u1</version>
  44.  
  45. </dependency>
  46.  
  47.  
  48.  
  49. <dependency>
  50.  
  51. <groupId>org.apache.solr</groupId>
  52.  
  53. <artifactId>solr-solrj</artifactId>
  54.  
  55. <version>5.2.1</version>
  56.  
  57. </dependency>
  58.  
  59.  
  60.  
  61. <!-- 爬虫jsoup -->
  62.  
  63. <dependency>
  64.  
  65. <groupId>org.jsoup</groupId>
  66.  
  67. <artifactId>jsoup</artifactId>
  68.  
  69. <version>1.9.1</version>
  70.  
  71. </dependency>

创建检索文件

 

 

说明:通过索引生成器可以为文档创建索引,但是索引不能被直接查看,所以通过工具查看索引文件.

  1. /**
  2.  
  3.  * 1.需求 需要为一篇文章创建索引   
  4.  
  5.  * 步骤:
  6.  
  7.  * 1.准备索引存放的地址 当前项目/index/
  8.  
  9.  *  2.编辑索引的分词器 (标准分词器,ik分词) ik分词器更加适合中国人的语意
  10.  
  11.  *  3.准备文档,其中包含了用户的数据信息.
  12.  
  13.  *  4.通过索引的创建为文档创建不同的索引词
  14.  
  15.  *  
  16.  
  17.  *  注意事项:
  18.  
  19.  *   TextField:可以将内部的信息进行索引分词
  20.  
  21.  *   李白乘舟江欲行 ~~~~李  白  乘 舟 ...
  22.  
  23.  *   StringField:
  24.  
  25.  *   李白乘舟江欲行~~~~~李白乘舟江欲行
  26.  
  27.  * @throws IOException
  28.  
  29.  */
  30.  
  31.  
  32.  
  33. @Test
  34.  
  35. public void test01() throws IOException{
  36.  
  37. //创建索引文件存放目录         会在当前工程下建立index目录
  38.  
  39. Directory directory = FSDirectory.open(new File("./index"));
  40.  
  41. //定义分词器   定义标准分词器 对英文友好 对中文很差劲
  42.  
  43. //Analyzer analyzer = new StandardAnalyzer();
  44.  
  45.  
  46.  
  47. //切换中文分词器  外国人写的 效果几乎没有
  48.  
  49. //Analyzer analyzer = new ChineseAnalyzer();
  50.  
  51.  
  52.  
  53. //是国人开发的
  54.  
  55. Analyzer analyzer = new IKAnalyzer();
  56.  
  57. //创建配置文件    定义版本号      
  58.  
  59. IndexWriterConfig conf = new IndexWriterConfig(Version.LUCENE_4_10_2, analyzer);
  60.  
  61. //创建索引文件
  62.  
  63. IndexWriter indexWriter = new IndexWriter(directory, conf);
  64.  
  65.  
  66.  
  67. //创建文档对象:
  68.  
  69. Document document = new  Document();
  70.  
  71. /**
  72.  
  73.  * 参数名称:  
  74.  
  75.  * id :属性字段名称      value值     Store 表示是否存储   yes表示存入
  76.  
  77.  * LongField 检索的关键字类型
  78.  
  79.  */
  80.  
  81. document.add(new LongField("id", 5025991L, Store.YES));
  82.  
  83. document.add(new TextField("title", "vivo X20 全面屏双摄拍照手机 4GB+64GB 磨砂黑 移动联通电信全网通4G手机 双卡双待 ", Store.YES));
  84.  
  85. document.add(new TextField("sellPoint", "游戏免打扰，畅快体验，带你吃鸡、上王者！高清全面屏，尊享Hi-Fi音质，更有面部识别+指纹双解锁！", Store.YES));
  86.  
  87. document.add(new DoubleField("price", 2988.00, Store.YES));
  88.  
  89. document.add(new TextField("itemDesc", "分辨率：2160*1080分辨后置摄像头：2x1200万像素+500万像素（2400万感光单元）前置摄像头：2x1200万像素（2400万感光单元） 核      数：八核", Store.YES));
  90.  
  91. //将索引文件写入到文档中
  92.  
  93. indexWriter.addDocument(document);
  94.  
  95. //需要管理流 否则索引不能创建
  96.  
  97. indexWriter.close();
  98.  
  99. }

 

 

 

根据索引查询数据

  1. @Test
  2.  
  3. public void seracher() throws IOException{
  4.  
  5. Directory directory = FSDirectory.open(new File("./index"));
  6.  
  7. //创建检索文件
  8.  
  9. IndexSearcher indexSearcher = new IndexSearcher(IndexReader.open(directory));
  10.  
  11. //创建查询条件   Term表示分组
  12.  
  13. Query query = new TermQuery(new Term("title", "手机"));
  14.  
  15. //查询  results 表示最顶端的20条记录数
  16.  
  17. TopDocs docs  = indexSearcher.search(query, 20);
  18.  
  19. //访问总数
  20.  
  21. System.out.println("数据访问的总数:"+docs.totalHits);
  22.  
  23. //获取文章的得分
  24.  
  25. for ( ScoreDoc scoreDoc : docs.scoreDocs) {
  26.  
  27. System.out.println("获取文章的得分:"+scoreDoc.score);  //分数越高 越靠前
  28.  
  29. int index = scoreDoc.doc; //获取索引值
  30.  
  31. //获取文章内容     
  32.  
  33. Document document = indexSearcher.doc(index);
  34.  
  35. //输出文章内容
  36.  
  37. System.out.println("标题:"+document.get("title"));
  38.  
  39. System.out.println("卖点:"+document.get("sellPoint"));
  40.  
  41. System.out.println("价格:"+document.get("price"));
  42.  
  43. System.out.println("描述信息:"+document.get("itemDesc"));
  44.  
  45. }
  46.  
  47. directory.close();
  48.  
  49.  
  50.  
  51. }

 

 

 

创建索引的高效的方式

问题:

说明:

根据索引的创建方式,如果需要为tb_item表创建索引.如何实现??

笨方法:

循环遍历全部的tb_item表

根据每一个的Item信息创建索引

弊端:

如果商品的数量众多,循环遍历的时间会很长.

如果商品的数量发生了改变,那么索引创建非常繁琐

 

 

Solr介绍

 

 

Solr的优点:

1.支持为数据库中的表整表创建索引.

2.能够支持为新的数据创建索引.(自动的) 但是有一个时效期(人为规定的)

3.支付Java对象的返回

 

 

搭建Solr

服务器搭建

安装JDK

说明:使用JDK1.7搭建Solr会有问题.所以使用jdk1.8完成

 

 

 

创建文件夹

 

 

 

 

配置JDK1.8

 

 

 

 

配置环境变量

说明:找到JDK的根目录

 

 

说明:让环境变量立即生效

 

 

Solr安装

导入Solr安装jar包

说明:将solr导入.将文件解压

 

 

 

启动solr

说明:如果solr启动成功可以通过8983访问

 

 

 

访问测试:

 

 

Solr的搭建要素

Solr的作用

说明:通过Solr实现为整个的数据中的Item表创建索引.通过Solr的方式效率更高

 

 

Solr引入数据库

1.创建数据库连接时名称必须为jt

 

2.说明:Solr要求.导入数据库时,必须在指定的文件夹下添加配置文件

 

 

 

引入Solr的配置文件

查找路径

cd /usr/local/src/solr-5.2.1/server/solr

进入到solr目录中创建指定的文件夹

 

2.创建文件夹

说明:在图上的目录下创建文件夹 jt

在jt目录下创建文件夹 conf和data

 

mkdir jt

mkdir jt/conf

mkdir jt/data

创建以后的结果图

 

 

配置文件介绍

说明:

说明:通过Solr连接数据库值,需要进行具体的配置.需要执行那张表需要创建索引.创建索引的分组和数据类型.连接数据的地址和端口都需要进行执行.

 

 

 

DIH

 

 

 

dih-config.xml

 

修改配置文件中的IP地址

 

 

 

导入配置文件

说明:

将课前资料中的jt/conf/文件全部导入solr中conf文件下

 

 

 

导入jar包

说明:将DIHjar包文件下载

 

 

 

 

 

 

最后结果:

 

 

说明:存入到lib下

/usr/local/src/solr-5.2.1/server/solr-webapp/webapp/WEB-INF/lib下

 

 

引入ik分词的文件

引入IK分词器的jar包文件 

在/usr/local/src/solr-5.2.1/server/solr-webapp/webapp/WEB-INF下创建 classes文件夹

引入课前资料中的class文件

 

将classes中的文件引入

 

 

 

 

 

重启solr

./solr stop –all    #停止服务

./solr start        #启动服务       

./solr restart      #重启服务

 

 

导入数据库文件

 

 

 

连接测试

 

 

 

全库导入

 

 

 

 

查询关键字

 

全文检索实现

Jt-web检索

分析页面结构

 

说明:当通过检索窗口查询数据时,会报404,编辑Controller实现数据查询

  1. @Controller
  2.  
  3. public class SearchController {
  4.  
  5.  
  6.  
  7. @Autowired
  8.  
  9. private SearchService searchService;
  10.  
  11.  
  12.  
  13. //url=search.html?q=华为   get提交
  14.  
  15. @RequestMapping("/search")
  16.  
  17. public String findItemByKey(@RequestParam("q")String keyword,
  18.  
  19. Model model){
  20.  
  21. //由于get提交中文必定乱码
  22.  
  23. try {
  24.  
  25. keyword = new String(keyword.getBytes("ISO-8859-1"), "UTF-8");
  26.  
  27. } catch (Exception e) {
  28.  
  29. e.printStackTrace();
  30.  
  31. }
  32.  
  33.  
  34.  
  35. //根据关键字查询Solr获取数据
  36.  
  37. List<Item> itemList = searchService.findItemByKey(keyword);
  38.  
  39.  
  40.  
  41. //返回给页面关键字
  42.  
  43. model.addAttribute("query", keyword);
  44.  
  45. model.addAttribute("itemList", itemList);
  46.  
  47.  
  48.  
  49. return "search";
  50.  
  51. }

 

 

编辑Dubb配置文件

编辑dubbo的消费者配置文件,添加检索的Service

  1.   <!--添加检索的Service  -->
  2.  
  3.      <dubbo:reference check="false" id="searchService" 
  4.  
  5.     interface="com.jt.dubbo.service.SearchService" 
  6.  
  7.     timeout="20000"/>

 

构建jt-bubbo

引入jar包文件

  1. <!-- 全文检索lucene -->
  2.  
  3. <dependency>
  4.  
  5. <groupId>org.apache.lucene</groupId>
  6.  
  7. <artifactId>lucene-core</artifactId>
  8.  
  9. <version>5.2.1</version>
  10.  
  11. </dependency>
  12.  
  13. <dependency>
  14.  
  15. <groupId>org.apache.lucene</groupId>
  16.  
  17. <artifactId>lucene-analyzers-common</artifactId>
  18.  
  19. <version>5.2.1</version>
  20.  
  21. </dependency>
  22.  
  23. <dependency>
  24.  
  25. <groupId>org.apache.lucene</groupId>
  26.  
  27. <artifactId>lucene-queryparser</artifactId>
  28.  
  29. <version>5.2.1</version>
  30.  
  31. </dependency>
  32.  
  33.  
  34.  
  35. <!-- IK分词器 -->
  36.  
  37. <dependency>
  38.  
  39. <groupId>org.wltea.analyzer</groupId>
  40.  
  41. <artifactId>ik-analyzer</artifactId>
  42.  
  43. <version>5.3.0</version>
  44.  
  45. </dependency>
  46.  
  47.  
  48.  
  49. <dependency>
  50.  
  51. <groupId>org.apache.solr</groupId>
  52.  
  53. <artifactId>solr-solrj</artifactId>
  54.  
  55. <version>5.2.1</version>
  56.  
  57. </dependency>
  58.  
  59.  
  60.  
  61. <!-- 爬虫jsoup -->
  62.  
  63. <dependency>
  64.  
  65. <groupId>org.jsoup</groupId>
  66.  
  67. <artifactId>jsoup</artifactId>
  68.  
  69. <version>1.9.1</version>
  70.  
  71. </dependency>

 

 

构建POJO

 

 

 

 

新建接口文件

 

将jt-bubbo项目打包

 

构建全网检索后台

构建项目

构建web项目

 

 

 

修改JDK/配置文件/web.xml/tomcat插件

1.删除多余的配置文件

 

2.修改spring的配置文件

 

3.添加tomcat插件

  1. <build>
  2.  
  3. <plugins>
  4.  
  5. <plugin>
  6.  
  7. <groupId>org.apache.tomcat.maven</groupId>
  8.  
  9. <artifactId>tomcat7-maven-plugin</artifactId>
  10.  
  11. <version>2.2</version>
  12.  
  13. <configuration>
  14.  
  15. <port>8097</port>
  16.  
  17. <path>/</path>
  18.  
  19. </configuration>
  20.  
  21. </plugin>
  22.  
  23. </plugins>
  24.  
  25. </build>

 

4.导入依赖文件

 

 

5.配置tomcat插件

 

 

添加solr的配置文件

引入properties

 

 

 

引入Solr的配置文件

 

 

 

编辑Service实现类

  1. public class SearchServiceImpl implements SearchService {
  2.  
  3.  
  4.  
  5. //需要通过Solr实现数据的查询 ,需要引入配置文件
  6.  
  7. @Autowired
  8.  
  9. private HttpSolrServer httpSolrServer;
  10.  
  11.  
  12.  
  13.  
  14.  
  15.  
  16.  
  17. @Override
  18.  
  19. public List<Item> findItemByKey(String keyword) {
  20.  
  21. //定义查询
  22.  
  23. SolrQuery query = new SolrQuery();
  24.  
  25.  
  26.  
  27. //设定查询的关键字
  28.  
  29. query.setQuery(keyword);
  30.  
  31.  
  32.  
  33. //设定分页的参数
  34.  
  35. query.setStart(0);
  36.  
  37. query.setRows(20);
  38.  
  39. try {
  40.  
  41. //solr根据查询条件实现查询
  42.  
  43. QueryResponse queryResponse = httpSolrServer.query(query);
  44.  
  45.  
  46.  
  47. //获取结果集对象
  48.  
  49. List<Item> itemList = queryResponse.getBeans(Item.class);
  50.  
  51. return itemList;
  52.  
  53.  
  54.  
  55. } catch (Exception e) {
  56.  
  57. e.printStackTrace();
  58.  
  59. }
  60.  
  61. return null;
  62.  
  63. }

 

 

添加提供者的配置文件

  1. <!-- 提供方应用信息，用于计算依赖关系 -->
  2.  
  3. <dubbo:application name="jt-search" />
  4.  
  5.  
  6.  
  7. <!--  使用multicast广播注册中心暴露服务地址 -->
  8.  
  9. <dubbo:registry address="zookeeper://192.168.126.145:2181"/>
  10.  
  11.  
  12.  
  13. <!-- 用dubbo协议在20880端口暴露服务 -->  
  14.  
  15. <dubbo:protocol name="dubbo" port="20883" />
  16.  
  17.  
  18.  
  19. <!-- 声明需要暴露的服务接口 -->
  20.  
  21. <dubbo:service interface="com.jt.dubbo.service.SearchService"
  22.  
  23. ref="searchService" />
  24.  
  25.  
  26.  
  27. <!-- 具体的实现bean -->
  28.  
  29. <bean id="searchService" class="com.jt.search.service.SearchServiceImpl" />

 

Solr查询转向

转向分析

说明:

由于jt-search通过索引查询数据时,需要远程访问Solr服务器.所以需要通过nginx+host文件实现url转向

http://solr.jt.com/solr/jt

 

 

 

修改nginx

  1. #配置全文检索服务器solr.jt.com
  2.  
  3. server {
  4.  
  5. listen 80;
  6.  
  7. server_name solr.jt.com;
  8.  
  9. location / {
  10.  
  11. proxy_pass http://192.168.126.146:8983;
  12.  
  13. }
  14.  
  15. }

重新启动nginx 

 

 

修改Host文件

  1. # 京淘电商环境
  2.  
  3. 127.0.0.1       image.jt.com
  4.  
  5. 127.0.0.1       manage.jt.com
  6.  
  7. 127.0.0.1       www.jt.com
  8.  
  9. 127.0.0.1       sso.jt.com
  10.  
  11. 127.0.0.1       cart.jt.com
  12.  
  13. 127.0.0.1       order.jt.com
  14.  
  15. 127.0.0.1       solr.jt.com
  16.

 

 

 

修改search.jsp

说明:替换课前资料的search.jsp

因为需要需要发送访问信息

 

将1000修改为100

 

 

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/2023面试高手/article/detail/168289
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号