比较MYSQL和ElasticSearch的全文搜索差距_使用es模糊查询的效率比mysql快多少

起源

• 商城项目需要根据商品标题或者商品详情，进行模糊查询，在数据量较大的时候，MYSQL进行模糊查询就吃力了，需要使用全文搜索工具，例如使用人数较多的Elasticsearch。为直观比较两者的性能区别，进行了这个实验，并记录下来。

实验基础

1：MYSQL5.7版本 产品表，7万条数据
2：elasticsearch6.8版本
3：composer 加载 下面这两个依赖，用于发送请求和连接数据库，操作ES，自己基于guzzle写

• “guzzlehttp/guzzle”: “^6.5”,
• “illuminate/database”: “5.8.*”
  4：PHP版本7.4

为啥不用别人写好的ES包？

• ES不同版本，区别较大，之前使用Laravel框架，构建全文检索，很费劲，看网上前人经验，没找到合适的。应该主要是版本对应不起来。就使用guzzle直接发请求了。

实验相关代码

index.php

<?php
ini_set("display_error", true);
error_reporting(-1);
require dirname(__FILE__,2) . '\pro1\vendor\autoload.php';//composer依赖自动载入
require './function.php';

$capsule = new Illuminate\Database\Capsule\Manager;
// 创建链接
$capsule->addConnection(  [
        'driver'    => 'mysql',
        'host'      => 'localhost',
        'database'  => 'meihui',
        'username'  => 'root',
        'password'  => 'root',
        'charset'   => 'utf8',
        'collation' => 'utf8_general_ci',
        'prefix'    => 'ims_',
    ]);

// 设置全局静态可访问DB
$capsule->setAsGlobal();

use Illuminate\Database\Capsule\Manager as DB;

//获取ES版本
//echo ES::getVersion();

$index_name='goods';//ES索引库名，类型名（ES6只支持一个索引库一个类型）

//用于建立ES索引
$mapping=array(
	'mappings'=>[
		$index_name=>[
			'properties'=>[
				'title'=>[
					'type'=>'text',
					'analyzer'=>'ik_max_word'
				],
				'cover'=>[
					'type'=>'keyword'
				],
				'price'=>[
					'type'=>'double'
				]
			]
		]
	]
);

//建立索引
//ES::newIndex($index_name,$mapping);

//将MYSQL数据插入ES

// ini_set('max_execution_time', '0');
// $obj_list = DB::table('zxsite_shop_goods')
//     ->select('id','title','cover','price')
//     ->orderBy('id')
//     ->chunk(200,function($products)use($index_name){
//     		foreach($products as $product){
//     			ES::newDocByID($index_name,$product->id,(array)$product);
//     		}
//     		echo 'OK_';
//     });

$keyword='焦点自动烟盒';//查哪几个关键字
$fields=['title'];//查哪几个字段

$start = microtime(true);
var_dump(ES::keywordSearch($index_name,$keyword,$fields,10,$page=1,$analyzer='ik_max_word'));
// $re=DB::table('zxsite_shop_goods')->where('title','like','%焦点自动烟盒%')->select('id','title','cover')->limit(10)->get();
// var_dump($re);
$end = microtime(true);
$time=$end-$start;
echo '执行了'.$time.'秒';


// var_dump(ES::getMapping($index_name));
// ES::deleteIndex($index_name);

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80

function.php

<?php
class ES{

	public static $host='http://localhost:9200';
	//获取ES版本
	public static function getVersion(){
		try{
			$http = new GuzzleHttp\Client;
		    $response = $http->get(self::$host);
			$es=json_decode($response->getBody());
			return 'ElasticSearch版本：'.$es->version->number;
		}catch(\Exception $e){
			return '无法连接ES服务器';
		}
	}

	//创建索引
	public static function newIndex($index_name,$mapping){
		try{
			$http = new GuzzleHttp\Client;
		    $response = $http->put(self::$host.'/'.$index_name,
		    	[GuzzleHttp\RequestOptions::JSON=>$mapping]);
			return json_decode($response->getBody())->acknowledged;
		}catch(\Exception $e){
			return '创建索引失败';
		}
	}

	//删除索引
	public static function deleteIndex($index_name){
		try{
			$http = new GuzzleHttp\Client;
		    $response = $http->delete(self::$host.'/'.$index_name);
			return json_decode($response->getBody())->acknowledged;
		}catch(\Exception $e){
			return '删除索引失败';
		}
	}

	//获取映射
	public static function getMapping($index_name){
		try{
			$http = new GuzzleHttp\Client;
		    $response = $http->get(self::$host.'/'.$index_name.'/_mapping');
			return json_decode($response->getBody());
		}catch(\Exception $e){
			return '获取索引失败';
		}
	}

	//添加文档（若已经存在，自动更新）
	public static function newDocByID($index_name,$id,$data){
		try{
			$http = new GuzzleHttp\Client;
		    $response = $http->put(self::$host.'/'.$index_name.'/'.$index_name.'/'.$id,[GuzzleHttp\RequestOptions::JSON=>$data]);
			return json_decode($response->getBody())->result;
		}catch(\Exception $e){
			return '添加文档失败';
		}
	}
	//更新文档
	public static function updateDocByID($index_name,$id,$data){
		try{
			$http = new GuzzleHttp\Client;
		    $response = $http->put(self::$host.'/'.$index_name.'/'.$index_name.'/'.$id.'/_update',[GuzzleHttp\RequestOptions::JSON=>['doc'=>$data]]);
			return json_decode($response->getBody())->result;
		}catch(\Exception $e){
			return '更新文档失败';
		}
	}

	//关键字查询
	public static function keywordSearch($index_name,$keyword,$fields,$size=10,$page=1,$analyzer='ik_max_word'){
		$temp=['query'=>[
			'query_string'=>[
				'query'=>$keyword,
				'analyzer'=>$analyzer,
				'fields'=>$fields]
			],
			'size'=>$size,
			'from'=>($page-1)*$size
		];
		try{
			$http = new GuzzleHttp\Client;
		    $response = $http->get(self::$host.'/'.$index_name.'/'.$index_name.'/_search',[GuzzleHttp\RequestOptions::JSON=>$temp]);
			return json_decode($response->getBody());
		}catch(\Exception $e){
			return '查询文档失败';
		}
	}
}
//创建索引
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92

实验结果

ES 查询，内部4（结果中的took）毫秒，代码中代码段的执行时间10ms左右；
MYSQL查询，内部150毫秒左右，代码中代码段的执行时间180ms左右

七万条数据中查，单从内部查询差异来看对这个结果差异，就30多倍。如果数据量更大，差异应该会更大。MYSQL 的like 全文扫描，是一条数据一条数据校对，而ES是使用直接查索引，拿到结果。

• mysql内部时间查询： show profiles;