10、全文检索 -- Elasticsearch -- 介绍、下载、安装、配置、开启权限认证、为 Elasticsearch 启用 SSL 和 HTTPS 支持_xpack.security.enabled: true active license is now

全文检索 – Elasticsearch – 介绍、下载、安装、配置、开启安全机制、设置用户密码、为 Elasticsearch 启用 SSL 和 HTTPS 支持

启动 Elasticsearch 服务器：
打开命令行窗口（小黑窗），输入命令： elasticsearch ；
即可启动 Elasticsearch 服务器

Elasticsearch 介绍

Elasticsearch 与 Solr 类似，同样是一个基于 Lucene 的开源的分布式搜索引擎。

Lucene 是基于Java 语言开发的一个框架。当年由于 Lucene 的Java API 比较难用，于是 Shay Banon 就开发出一个叫作 Compass 的框架来对 Lucene 进行封装，因此 Compass 也属于一个 Java 框架。

Compass 框架用起来十分方便，后来发现在 2009年之后，Compass 项目就不更新了。原来是因为 shay Banon 用 Elasticsearch 取代了 Compass。

把 Compass 升级、革命性更新成 Elasticsearch 。

由于 Compass 只是一个 Java 框架，所以必须掌握 Java 编程才能使用 Compass；

而 Elasticsearch 则是一个独立应用，它提供了 RESTful 的操作接口，因此不管用什么编程语言，甚至不管会不会编程，都可以很方便地使用 Elasticsearch (比如用 Postman或 cur工具)。

Solr 是 Lucene 官方所提供的一个包装，都是位于 Apache 组织下面的，而 Elasticsearch 是由第三方人员开发的一个包装。

Elasticsearch 有 社区版 和 商业版 。

官网下载 Elasticsearch

官网：https://www.elastic.co/cn/elasticsearch

此时最新的版本是8.12.1，要求JDK得是 17；
我现在jdk是11，所以是下载7.14.1的版本

7.14.1 版本下载页面：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-14-1

安装 Elasticsearch

1、bin 目录介绍

解压压缩包，得到如下文件结构：

bin： 该目录下包含了 Elasticsearch 的各种工具命令。

config：
该目录下包含了 Elasticsearch 的各种配置文件，
尤其是 elasticsearch.yml 和 jvm.options 两个配置文件很重要，
其中 elasticsearch.yml 用于配置 Elasticsearch 自己的一些属性，
jvm.options ，用于配置 JVM 的堆内存、垃圾回收机制等选项。

plugins： Elasticsearch 的插件目录。

2、配置环境变量

配置两个环境变量ES_JAVA_HOME和PATH（将bin目录添加到PATH中）

1、bin 目录添加到环境变量的 path 路径中

2、JDK 环境变量
这个变量无需多言，基本都已经有的了。
早期它使用的 JAVA_HOME 环境变量，现在改为使用 ES_JAVA_HOME。
现在如果使用 JAVA_HOME 就会出现这个警告，如图：

所以需要添加一个变量名是 “ES_JAVA_HOME”的，然后依然指向我们自己的 JDK

3、修改配置文件

修改config/elasticsearch.yaml文件如下：

cluster.name: ljh-app    # 配置集群名
node.name: node-1   # 配置节点名
#network.host: 192.168.0.1  # 配置 Elasticsearch 绑定的IP地址
#http.port: 9200   # 默认指定 Elasticsearch 服务监听的端口
1
2
3
4

【备注】：同一个局域网内的多个节点（多个Elasticsearch服务器）只要指定了相同的cluster.name，它们会自动加入同一个集群。

切记：不要在这个配置文件添加中文注释，否则会启动失败
错误演示：如图：我添加了中文注释，后面启动就失败了。

添加中文注释导致启动失败记录

4、启动 Elasticsearch

如下命令即可启动Elasticsearch：

elasticsearch
1

启动 Elasticsearch 服务器成功。

5、查看 Elasticsearch 启动结果：

默认情况下，Elasticsearch的发布地址为：127.0.0.1:9200。

可通过curl工具（如：Postman ）测试 Elasticsearch 是否启动成功，启动另一个窗口，执行如下命令：

http://localhost:9200

如图：在浏览器或者postman访问 http://localhost:9200， 有以下输出表示Elasticsearch 启动成功。

开启 XPach 安全机制（SSL+密码）

现在已经可以使用 Elasticsearch ，但是很明显安全性不够，所以接下来为 Elasticsearch 启用 SSL 支持，以及配置用户名和密码。

1、修改 elasticsearch.yaml 配置文件，开启 xpack 的安全机制

修改 config/elasticsearch.yml 文件，添加如下一行：
开启 xpack 的安全机制：

xpack.security.enabled: true
1

只需要在这个配置文件简单加上这一行就能开启 spack 安全机制了

查看是否成功启动安全机制：

先关闭 ElastisSearch 服务器，再次运行 “elasticsearch” 命令重启 ElastisSearch 服务器。
启动完成后将会看到如下输出：

Active license is now [BASIC]; Security is enabled ——开启了安全机制
1

备注：

我在配置文件中添加了安全机制的代码后，我忘记点击保存就重启了Elasticsearch 服务器，
但是却发现同样会出现：Active license is now [BASIC]; Security is enabled 这个输出；
但是后面在输入命令来设置用户密码的时候，就会显示还没有开启这个安全机制。

后面配置文件点击保存再重启Elasticsearch 后，就可以正常设置用户密码了。

结论就是：
无论我有没有在配置文件中添加这个： xpack.security.enabled: true  开启安全机制的代码，
启动elasticsearch服务器的时候，都会出现：Active license is now [BASIC]; Security is enabled 
这个显示启动安全机制的输出
1
2
3
4
5
6
7
8
9
10

2、为不同用户设置密码

小黑车运行如下命令来创建用户名和密码：

elasticsearch-setup-passwords interactive
1

interactive：交互式的、互动

该命令就表示用交互式的方式来设置用户名和密码

如图：可以看到命令文件在这里：

现在再开一个命令行窗口，就是小黑窗，然后执行该命令

因为 Elasticsearch 内置了用于不同目的的几个用户，故此处要依次为每个用户都设置密码，每个密码都要设置两次。
（ 命令：elasticsearch-setup-passwords interactive ）

注意：要开启 XPach 安全机制后，才能给内置用户设置密码，否则这个设置密码的命令是执行失败的。

不同用户各自的作用，这几个用户的大致功能如下：
密码直接开头字母+123456，方便记忆。

elastic： 超级用户。
密码：123456

kibana： 供Kibana工具（第三方）通过该用户连接Elasticsearch。
密码：k123456

logstash_system： Logstash将监控信息存储到Elasticsearch中时使用。
密码：l123456

beats_system： Beats在Elasticsearch中存储监视信息时使用。
密码：b123456

apm_system： APM服务器在Elasticsearch中存储监视信息时使用。
密码：a123456

remote_monitoring_user： Metricbeat用户在Elasticsearch中收集和存储监视信息时使用。
密码：r123456

上面开启了权限验证之后，现在再来访问一下这个：http://localhost:9200 服务器网址网址，
可以看到访问失败，原因是缺少凭证。
因为上面我们开启了xpach安全机制和给用户设置了密码。

添加用户名和密码后，能访问成功，表明权限认证已经配置成功了。

至此，我们已经为 Elasticsearch 开启了 安全机制 和 权限认证（为不同的用户设置了不同的密码），所以可以正常的使用这个 Elasticsearch 了。

3、XPach 安全机制介绍：

4、SSL 技术介绍：

为 Elasticsearch 启用 SSL 和 HTTPS 支持

由于设置了 Elasticsearch 的用户名、密码的支持，因此不希望用户名、密码在网络上以明码方式传输，所以要启用SSL+HTTPS。

要启用 SSL 和 HTTPS 的支持，都是需要证书的

——在企业中，这种正规的证书应该去证书颁发机构购买的。

——对于开发者自行生成的证书（出于测试目的），各种软件都是默认不信任的。

1、创建证书颁发机构的证书

—— 形象来说，相当于注册了一个“草台班子” 公司。

简单说，下面的演示就是弄一个假的证书颁发机构，然后用这个机构生成一个假的私钥证书用来启用 SSL 和 HTTPS 而已。

因为不可能真的弄出一个证书颁发机构出来，所以用工具来创建一个证书颁发机构的证书，让这个证书假装是一个证书颁发机构。
1
2
3

在真实项目中，要启用 SSL 和 HTTPS 的支持，都是需要证书的，而这些证书，需要从权威的【证书颁发机构】那里购买获取。

因为此时只是演示，所以我可以通过 Elasticsearch 提供了一个 elasticsearch-certutil 工具来生成证书。
利用这个工具，可以模拟生成一个【证书颁发的机构的证书】，也可以生成【启用 SSL 和 HTTPS 所需要的证书】。

解释下什么是 证书颁发机构的证书：

下面就是演示：

我通过 elasticsearch-certutil 工具创建了一个【证书颁发机构】，说是创建一个证书颁发机构，但是我不可能真的弄一个证书颁发机构出来，所以这里只是通过工具创建出一个代表【证书颁发机构】的一个证书文件而已。
然后我就可以通过这个证书文件，来生成启用 SSL 和 HTTPS 所需要到的证书。

我这个操作相当于我虽然没钱建大楼开公司，但是我可以注册了一个公司，弄这个证书相当于成功注册了一家证书颁发机构，注册成功后，得到了这张证书，这个证书相当于一个公司的营业执照，我就可以拿这个名头来干活。但是这权威性肯定是得不到别人的认可的。

但是此时只是测试，有了这个证书颁发机构的证书文件，我就可以通过这个证书，来生成启用 SSL 和 HTTPS 的证书了

作用：
用 证书颁发机构的证书 ，来生成启用 SSL 和 HTTPS 的证书。

先演示创建【证书颁发机构的证书】：

【提示】：创建证书，当然可以用 JDK 提供的 keytools 工具来生成证书。
但此处，Elasticsearch 提供了一个 elasticsearch-certutil 工具来生成证书。

执行如下命令：

elasticsearch-certutil ca 

ca 子命令用于生成证书颁发机构。
1
2
3

如图：

按提示输入证书颁发机构的证书文件名，此处留空，留空则使用默认的文件名：elastic-stack-ca.p12。
再提示为该证书文件设置密码，比如输入123456 作为该证书的密码。

上面命令运行完成后将会在 Elasticsearch 根目录（E:\install\Elasticsearch\elasticsearch-7.14.1）目录下生成一个elastic-stack-ca.p12文件。

如图，就生成了一个证书颁发机构的证书。
注意：这个证书不是用来启用 SSL 的那个证书，只是一个【颁发证书机构】这个机构的一个证书而已。

如图：相当于我注册了一家【证书颁发机构】，注册成功后，得到了这张证书，相当于营业执照。
有了这个文件之后，就可以通过这个文件来生成启用 SSL 和 HTTPS 的证书了（当然是生成测试版证书）。

这个证书颁发机构的证书名：elastic-stack-ca.p12，
证书密码：123456

2、为各节点生成私钥证书

—— 让证书颁发机构为你颁发一个证书。

我上面创建了一个证书颁发机构，然后得到了一个证书文件，叫：elastic-stack-ca.p12
现在就可以通过这个证书文件，来生成启用 SSL 和 HTTPS 的私钥证书

执行如下命令：

elasticsearch-certutil cert --ca elastic-stack-ca.p12
1

cert 子命令用于生成证书，

--ca 选项用于指定所生成的证书文件要属于哪个证书颁发机构。
此处指定是属于 elastic-stack-ca.p12 这个证书颁发机构的。
1
2

按要求输入证书颁发机构的证书的密码，也就是前一步为 elastic-stack-ca.p12 文件设置的密码（123456）。

然后为新证书文件设置文件名，此处留空即可，留空则使用默认的文件名：elastic-certificates.p12。

按提示为新证书设置密码，比如输入 123456 作为该证书的密码。

上面命令运行完成后将会在Elasticsearch根目录（E:\install\Elasticsearch\elasticsearch-7.14.1）目录下生成一个elastic-certificates.p12文件。

如图：通过证书颁发机构生成了一个私钥证书。

证书文件名：elastic-certificates.p12
证书密码：123456

3、启用 SSL 和 HTTPS （需要用到证书来启动）

上面第一步生成了证书颁发机构的证书；

第二步通过该证书颁发机构生成了私钥证书；

接下来第三步就是通过证书来启用 SSL 和 HTTPS 了

1、证书拷贝到 config 目录下

将上一步生成的 elastic-certificates.p12 证书文件复制到 config 目录下。

如图：生成证书时的提示：

为 Elasticsearch 这个客户端配置证书，只需要把证书拷贝到 config 目录下即可。
我这里直接把证书剪切过来就行。

而 Elasticsearch 这个应用凭什么信任这个我们自己生成的证书呢？毕竟连证书颁发机构都是我自己生成的

（这个解释是自己的理解，目前还不知道说的对不对，先记录下自己的想法先：）

因为是演示，所以这个证书颁发机构的证书存在这里，如图，相当于强制让 Elasticsearch 这个客户端信任这个证书颁发机构。

让 Elasticsearch 信任这个证书颁发机构之后，那么由这个机构生成的证书，那么也就会受到 Elasticsearch 这个客户端应用的信任。

正规的证书颁发机构，我们是拿不到 elastic-stack-ca.p12 这个证书文件的，相当于是拿不到别人公司的营业执照的。
只能拿到该机构颁发出来的证书而已。

2、修改 elasticsearch.yml 文件

修改 config 目录下 elasticsearch.yml 文件，在其中添加如下几行：

启用SSL支持：

xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

启用HTTPS支持：

xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.keystore.path: elastic-certificates.p12
xpack.security.http.ssl.truststore.path: elastic-certificates.p12

如图：这个配置就是为 Elasticsearch 启动了 SSL 和 HTTPS 支持，并设置它们都使用 elastic-certificates.p12 作为证书文件。
可以看到这四个地方用到了同一个证书

如果是企业项目，应该先从权威机构购买一个证书，然后配置使用购买的证书。

3、告诉 Elasticsearch 证书文件的密码

上面在 elasticsearch.yml 配置文件中添加了启用 SSL 和 HTTPS 的配置后，如果重启 Elasticsearch，那么 elasticsearch 就会去读取 elastic-certificates.p12 这个证书文件，但是肯定会读取失败的，因为这个证书文件是有密码的。

接下来就是演示如何告诉 Elasticsearch 我们这个 elastic-certificates.p12 证书文件的密码。

以前的 Tomcat、Spring Boot ，在开启 SSL 时，都是直接用明码的方式配置证书的密码，这样安全性就不高了。

而 Eclasticsearch 使用到了 elasticsearch.keystore 文件来管理证书文件的密码。

如图：在config目录下，专门用这个文件来管理 elasticsearch 所用到的各种证书的密码

再打开这个文件一看，发现内容是加密的，即使别人打开这个文件也是看不到我们给证书加的是什么密码的，这样安全性就很高。

因为 elasticsearch.keystore 是一个加密文件，很明显不能直接编辑，此时我们如果要把刚刚自己生成的证书的密码添加进去的话，只能使用命令来添加了。

因此 Eclasticsearch 提供了 elasticsearch-keystore 命令来管理 elasticsearch.keystore 文件中所保存的密码。

往 elasticsearch-keystore 文件添加 证书文件的密码 的命令

elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password
elasticsearch-keystore add xpack.security.transport.ssl.truststore.secure_password
elasticsearch-keystore add xpack.security.http.ssl.keystore.secure_password
elasticsearch-keystore add xpack.security.http.ssl.truststore.secure_password
1
2
3
4

由于为 elastic-certificates.p12 证书文件时设置了密码 ，因此 Elasticsearch 必须知道该证书密码才能读取证书内容。

Elasticsearch 使用 config 目录下 elasticsearch.keystore 文件来管理证书的读取密码，
这四条命令就是将四个地方用到的证书文件的密码添加到 elasticsearch.keystore 文件中。

打开命令行窗口，依次输入上面的四条添加证书密码的命令：

注意：这里即使密码输错，也是不会提示的，但是后面再启动 elasticsearch 服务器的时候，就会提示读取不到证书文件。

至此，我们在 elasticsearch.yml 配置文件中，通过证书添加了启用 SSL 和 HTTPS 的配置，并在 elasticsearch.keystore 文件里面添加了使用到的证书的密码。

接下来进行演示 SSL 和 HTTPS 是否生效：

4、演示 SSL 和 HTTPS 是否生效

先重启下 elasticsearch 服务器：把小黑窗关了，重新打开，输入：elasticsearch 这个命令即可

先通过 HTTP 发送请求 ：http://localhost:9200.
之前是有相应的，而现在可以看到已经得不到响应了。
因为我们已经改成 HTTPS 了。

如图：
此时用 HTTPS 发送请求：https://localhost:9200
可以看到 postman 有提示不信任这个证书。

但是我们可以点击 【 Disable SSL Verification 】禁用这个 SSL 验证，作用就是让 postman 不用去管我们给 elasticsearch 添加的这个证书够不够权威安全，反正有这个证书，就让我们能够测试。

如图：点击 禁用 SSL 验证取消后，让 postman 不去理睬证书的真假后，就可以进行测试了，能正常获得数据。

至此，我们成功的给 elasticsearch 这个客户端添加了证书，成功的启用了 SSL 和 HTTPS 的支持。

现在我们用 https://localhost:9200 发送请求的时候，HTTPS 能够确保数据在客户端和服务器之间的传输过程中是加密的，从而提供更高的安全性，防止中间人攻击和窃听

如图：给 Elasticsearch 用自己的 SSL 证书，在其他软件上面进行访问 Elasticsearch 时，就会显示不安全

如果在真实项目中，只需要把真正从权威机构购买的证书，拿来替换我们自己生成的测试证书即可。