ELK—x-pack插件

1 x-pack介绍

1.1 功能介绍　　

　　官网介绍：https://www.elastic.co/guide/en/kibana/6.2/setup-xpack-kb.html

       x-pack是elasticsearch的一个扩展包，将安全，警告，监视，图形和报告功能捆绑在一个易于安装的软件包中，可以轻松的启用或者关闭一些功能。默认我们的elk部署后，可以直接就进入web管理界面，这样会带来极大的安全隐患。

1.2 功能分类

　　x-pack的基本功能可列举如下：

1.21 用户管理

　　x-pack安装之后有一个超级用户elastic ，拥有对所有索引和数据的控制权,可以使用该用户创建和修改其他用户，当然这里可以通过kibana的web界面进行用户和用户组的管理。

　　如下：wyy这个用户就是通过elastic超级用户创建的，是个只读的。这里可以在web上修改

　　终端修改用户名和密码方式：

#修改elastic：
curl -XPUT -u elastic:elastic123 'http://10.10.16.253:9200/_xpack/security/elastic/_password' -d {"password":"123456"} 

#修改kibana
curl -XPUT -u elastic:elastic123 'http://10.10.16.253:9200/_xpack/security/kibana/_password' -d {"password":"123456"}

1.22 保护级别

 

 

　　如何提高Elasticsearch应用的安全性，是开发者面临的重要问题。Elasticsearch X-Pack中的安全组件提供了对应的安全解决方案，让IT和应用团队能够依赖 X-Pack 来区分和管理正常用户和恶意入侵者。

　　x-pack提供以下几个级别保护elastic集群：

　　● 用户登录身份验证：安装完x-pack，登录elasticsearch和kibana会让你输入密码

　　● 授权和基于角色的访问控制：允许哪些用户对哪些索引具有不同的操作权限

　　● 节点/客户端认证和信道加密：x-pack的elk之间的数据传递保护：logstash.yaml

　　● 审计：启动审核以跟踪与你的elasticsearch集群的尝试与成功的交互：xpack.security.audit.enabled: true

1.23 监控功能

　　使用xpack监控组件能够通过kibana轻松监控elasticsearch。还可以实时查看集群运行状况和性能，以及分析过去的集群，索引和节点指标。包括kibana本身的性能。

 

　　另外，我们可以配置监控的索引：通过elasticsearch.yml文件，如图：

　　可以在前面上+或-来显示包含或排除索引名称和模式。如：+ text *， - test3。

1.24 alert功能　

　　#官网详细内容参考：https://www.elastic.co/guide/en/x-pack/current/xpack-alerting.html

 

　　当watch被触发的时候，数据将会被加载到执行的context中，watch支持以下四种输入：

                     Simple：加载静态的数据到execution context中

                     Search：加载搜索的结果到execution context中

                     Http：将Http请求的结果加载到execution context中

                     chain：使用一系列输入将数据加载到execution context中

       每个watch必须有一个触发器触发watch的执行开始，watch旨在支持不同类型的的触发器，但只有基于时间戳的计划触发器目前可用，watch提供了以下几种类型的时间过滤器

              Hourly

              Daily

              Weekly

              Monthly

              Yearly

              Cron

              Interval

1.25 graph功能

　　#官网详细介绍：https://www.elastic.co/guide/en/x-pack/current/graph-getting-started.html

　　X-Pack图的能力使你发现一个Elasticsearch索引项是如何相关联的。你可以探索索引条款之间的连接，看看哪些连接是最有意义的。从欺诈检测到推荐引擎，对各种应用中这都是有用的，例如，图的探索可以帮助你发现网站上黑客的目标的漏洞，所以你可以硬化你的网站。或者，您可以为您的电子商务客户提供基于图表的个性化推荐。X-pack提供简单，但功能强大的图形开发API，和Kibana交互式图形可视化工具。使用X-pack图有工作与开销与现有Elasticsearch指标你不需要任何额外的数据存储的特征。

 

 

1.3 功能使用

　　默认情况下，所有的x-pack功能都已开启，可以在elasticsearch.yml，kibana.yml，logstash.yml配置文件中启用或禁用特定的x-pack功能。

　　#设置                     #描述

　　xpack.graph.enabled        #设置为false以禁用X-Pack图形功能。

　　xpack.ml.enabled          #设置为false以禁用X-Pack机器学习功能。

　　xpack.monitoring.enabled   #设置为false以禁用X-Pack监视功能。

　　xpack.reporting.enabled     #设置为false以禁用X-Pack报告功能。

　　xpack.security.enabled      #设置为false以禁用X-Pack安全功能。

　　xpack.watcher.enabled      #设置为false以禁用Watcher。

功能名称	文件配置格式	适用组件
图形展示	xpack.graph.enabled	只适用kibana组件
报表统计	xpack.reporting.enabled	只适用于kibana组件
报警通知	xpack.watcher.enabled	只适用于elasticsearch组件
安全认证	xpack.security.enabled	适用于elk的三个组件
监控跟踪	xpack.monitoring.enabled	适用于elk的三个组件
设备资源分配	xpack.ml.enabled	适用于elasticsearch和kibana

2 x-pack安装

　　安装好x-pack时，默认会有30天的使用许可证，试用期结束后会无法访问，此时就需要到官网去申请一年的免费license。

2.1 x-pack破解

　　用破解的x-pack-6.5.4.jar替换/home/elasticsearch/plugins/x-pack/目录中原有的x-pack-6.5.4.jar包。新版默认安装好x-pack，这里我们需要单独把x-pack6.5.4.jar拿出来。

cd /home/soft/
cp /home/elasticsearch/modules/x-pack-core/x-pack-core-6.5.4.jar ./
jar -xvf x-pack-core-6.5.4.jar   #解压jar包
rm -f x-pack-core-6.5.4.jar #移除旧的jar

　　找到org/elasticsearch/license/LicenseVerifier.class，可使用Luyten反编译工具(https://github.com/deathmarine/Luyten/releases )打开，并拷贝内容到新建的文件LicenseVerifier.java中，文件内容如下：

package org.elasticsearch.license;
import java.nio.*;
import org.elasticsearch.common.bytes.*;
import java.util.*;
import java.security.*;
import org.elasticsearch.common.xcontent.*;
import org.apache.lucene.util.*;
import org.elasticsearch.core.internal.io.*;
import java.io.*;

public class LicenseVerifier
{
    public static boolean verifyLicense(final License license, final byte[] encryptedPublicKeyData) {
        return true;
    }

    public static boolean verifyLicense(final License license) {
        return true;
    }
}

　　找到org/elasticsearch/xpack/core/XPackBuild.class，可使用Luyten反编译工具打开，并拷贝内容到新建的文件XPackBuild.java中，文件内容如下：

package org.elasticsearch.xpack.core;
import org.elasticsearch.common.io.*;
import java.net.*;
import org.elasticsearch.common.*;
import java.nio.file.*;
import java.io.*;
import java.util.jar.*;

public class XPackBuild
{
    public static final XPackBuild CURRENT;
    private String shortHash;
    private String date;

    @SuppressForbidden(reason = "looks up path of xpack.jar directly")
    static Path getElasticsearchCodebase() {
        final URL url = XPackBuild.class.getProtectionDomain().getCodeSource().getLocation();
        try {
            return PathUtils.get(url.toURI());
        }
        catch (URISyntaxException bogus) {
            throw new RuntimeException(bogus);
        }
    }

    XPackBuild(final String shortHash, final String date) {
        this.shortHash = shortHash;
        this.date = date;
    }

    public String shortHash() {
        return this.shortHash;
    }

    public String date() {
        return this.date;
    }

    static {
        final Path path = getElasticsearchCodebase();
        String shortHash = null;
        String date = null;
        Label_0157: {
            shortHash = "Unknown";
            date = "Unknown";
        }
        CURRENT = new XPackBuild(shortHash, date);
    }
}

　　编译修好后的Java文件

javac  -cp "/home/elasticsearch/modules/x-pack-core/x-pack-core-6.5.4.jar:/home/elasticsearch/lib/*" LicenseVerifier.java
javac  -cp "/home/elasticsearch/modules/x-pack-core/x-pack-core-6.5.4.jar:/home/elasticsearch/lib/*" XPackBuild.java

　　重新打jar包：

jar -cvf  x-pack-core-6.5.4.jar ./*

　　覆盖原来的x-pack的jar，建议将之前备份

mv x-pack-core-6.5.4.jar /home/elasticsearch/modules/x-pack-core/x-pack-core-6.5.4.jar

　　修改/home/elasticsearch/config/elasticsearch.yml，开启x-apck认证

cluster.name: ELK-Cluster #ELK的集群名称，名称相同即属于是同一个集群
node.name: elk-node1 #本机在集群内的节点名称
path.data: /home/elasticsearch/data  #数据保存目录
path.logs: /home/elasticsearch/logs   #日志保存目
network.host: 0.0.0.0 #监听IP
http.port: 9200
node.data: true #是否是数据节点
node.ingest: true #关闭即可
node.master: true #是否是主节点,不定义的话先启动的是主节点
node.max_local_storage_nodes: 1 #最大存储节点
bootstrap.memory_lock: false #服务启动的时候锁定足够的内存，防止数据写入swap
bootstrap.system_call_filter: false
###head插件相关###
http.cors.enabled: true
http.cors.allow-origin: "*"
#http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type
####head插件相关####
#节点ip，节点之间要允许ping和9300端口通信
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["10.10.16.213", "10.10.16.214"]
xpack.security.enabled: false  #建议上传证书之前改为false
xpack.security.transport.ssl.enabled: false  #建议上传证书之前改为false

#重启elasticsearch，建议先关闭kibana和logstash，先启动node2，注意切换普通用户。

2.2 更新许可证

　　去官网申请免费的license，会发邮件给你提供下载地址，将下载下来的文件重命名为license.json。https://license.elastic.co/registration  #官网申请basic授权文件

　　我这里将下载下来的json文件放到/tmp目录下

　　授权文件修改：

　　首先将wyy-wyy-d7c273a8-699d-4db2-8406-6ae8f8abbe65-v5.json给改为license.json

　　时间戳时间转换：https://tool.lu/timestamp

{
"license":{
        "uid":"d7c273a8-699d-4db2-8406-6ae8f8abbe65",
        "type":"platinum",  //修改为白金版
        "issue_date_in_millis":1547078400000,
        "expiry_date_in_millis":2855980923000, //修改到期时间为2060-07-02
        "max_nodes":100, //修改最大节点数
        "issued_to":"wyy wyy (pharmacodia)",
        "issuer":"Web Form",
        "signature":"AAAAAwAAAA1Q7pVrfhlxhVwk+PjKAAABmC9ZN0hjZDBGYnVyRXpCOW5Bb3FjZDAxOWpSbTVoMVZwUzRxVk1PSmkxaktJRVl5MUYvUWh3bHZVUTllbXNPbzBUemtnbWpBbmlWRmRZb25KNFlBR2x0TXc2K2p1Y1VtMG1UQU9TRGZVSGRwaEJGUjE3bXd3LzRqZ05iLzRteWFNekdxRGpIYlFwYkJiNUs0U1hTVlJKNVlXekMrSlVUdFIvV0FNeWdOYnlESDc3MWhlY3hSQmdKSjJ2ZTcvYlBFOHhPQlV3ZHdDQ0tHcG5uOElCaDJ4K1hob29xSG85N0kvTWV3THhlQk9NL01VMFRjNDZpZEVXeUtUMXIyMlIveFpJUkk2WUdveEZaME9XWitGUi9WNTZVQW1FMG1DenhZU0ZmeXlZakVEMjZFT2NvOWxpZGlqVmlHNC8rWVVUYzMwRGVySHpIdURzKzFiRDl4TmM1TUp2VTBOUlJZUlAyV0ZVL2kvVk10L0NsbXNFYVZwT3NSU082dFNNa2prQ0ZsclZ4NTltbU1CVE5lR09Bck93V2J1Y3c9PQAAAQB1Qa/KQHbjfBkfIh4FlOXsOOZIxcBkw8PPX9u7SrSOwL/LpKxuAlM9/oulDW4WZGzH5psGK7f/RDBatAQ8kiQrFQZ2B97PJmfvxoUrptXT4kzYpdkd+iAlTAyy2gkyI19QVAI5c/seVp0ERq3Rhv/l8Qx6HnMcafXTlheEoRceh3Oz88Qv3kaYwvb+R8d0WreFoaxxaqJuVAN6JFNfQr7h9Ra2ViB8yOzF0PXmmCvT5yER1UH1tDGAvfAIV7E7oGV0srf/uCEv5bD7FMUdun+aF4VApEtRoK10XLKW48qyo5+dhhEbKr2IGwAWXUM6l3FJCtZGFbKw3YX83zXz2hDi",
        "start_date_in_millis":1547078400000
        }
}

2.3 导入授权文件

　　通过API接口上传：如果提前设置好了用户名密码需要加上-u参数：-u elastic:elastic123

curl -XPUT 'http://10.10.16.213:9200/_xpack/license' -H "Content-Type: application/json" -d @/tmp/license.json  #注意标点符号为英文
{"acknowledged":true,"license_status":"valid"} #返回valid，表示已生效

   http://10.10.16.213:9200/_xpack/license  

　　Head访问方式：http://localhost:9100/?base_uri=http://localhost:9200&auth_user=elastic&auth_password=elastic123

 #如下图，但是这样容易暴露用户名和密码，后面再探索可行方案

 

2.4 elasticsearch添加认证

　　设置验证密码：进入elasticsearch/bin/x-pack，建议停掉所有节点的es服务和kibana

　　修改elasticsearch.yml，将xpack.security打开

./setup-passwords interactive #手动，也可选择auto
#也可进入/home/elasticsearch/bin，./elasticsearch-setup-passwords interactive #两种方式一样

　　会对elasticsearch、logstash、kibana分别设置登录密码（默认es用户名为elastic，logstash用户名为logstash_system，kibana用户名为kibana）

 

2.5 kibana添加认证

 　　修改kibana.yml

　　重启kibana，登录：http://10.10.16.213:5601

　　使用之前设置好的用户名个密码登录：elastic  elastic123，登录之后可以发现kibana界面多了很多功能，如图：

 3 x-pack操作手册

　　这里我们主要了解一下x-pack提供的user和roles权限控制，如图展示的是security-roles：

现总结如下：
    ingest_admin：授予访问权限以管理所有索引模板和所有摄取管道配置。这个角色不能提供创建索引的能力; 这些特权必须在一个单独的角色中定义。
    kibana_dashboard_only_user：授予对Kibana仪表板的访问权限以及对.kibana索引的只读权限。 这个角色无法访问Kibana中的编辑工具。
    kibana_system：授予Kibana系统用户读取和写入Kibana索引所需的访问权限，管理索引模板并检查Elasticsearch集群的可用性。 此角色授予对.monitoring- 索引的读取访问权限以及对.reporting- 索引的读取和写入访问权限。
    kibana_user：授予Kibana用户所需的最低权限。 此角色授予访问集群的Kibana索引和授予监视权限
    kibana_admin：授予访问用于管理配置的.logstash *索引的权限。
    logstash_system：授予Logstash系统用户所需的访问权限，以将系统级别的数据（如监视）发送给Elasticsearch。不应将此角色分配给用户，因为授予的权限可能会在不同版本之间发生变化。此角色不提供对logstash索引的访问权限，不适合在Logstash管道中使用。
    machine_learning_admin：授予manage_ml群集权限并读取.ml- *索引的访问权限。
    monitoring_user：授予除使用Kibana所需的X-Pack监视用户以外的任何用户所需的最低权限。 这个角色允许访问监控指标。 监控用户也应该分配kibana_user角色
    remote_monitoring_agent：授予远程监视代理程序将数据写入此群集所需的最低权限
    reporting_user：授予使用Kibana所需的X-Pack报告用户所需的特定权限。
transport_client：通过Java传输客户端授予访问集群所需的权限。 
    watcher_admin：授予对.watches索引的写入权限，读取对监视历史记录的访问权限和触发的监视索引，并允许执行所有监视器操作
    watcher_user：授予读取.watches索引，获取观看动作和观察者统计信息的权限

　　cluster权限，即可以分配给roles的权限

all：所有集群管理操作，如快照，节点关闭/重新启动，设置更新，重新路由或管理用户和角色
monitor：所有集群只读操作，如集群运行状况，热线程，节点信息，节点和集群统计信息，快照/恢复状态，等待集群任务
monitor_ml: 所有只读机器学习操作，例如获取有关数据传输，作业，模型快照或结果的信息
monitor_watcher: 所有只读操作，例如获取watch和watcher统计信息
manage：构建monitor并添加更改集群中值的集群操作。这包括快照，更新设置和重新路由。此特权不包括管理安全性的能力
manage_index_templates：索引模板上的所有操作
manage_ml：所有机器学习操作，例如创建和删除数据传输，作业和模型快照。数据处理以具有提升特权的系统用户身份运行，包括读取所有索引的权限
manage_security：所有与安全相关的操作，例如对用户和角色的CRUD操作以及缓存清除
manage_watcher：所有观察者操作，例如放置watches，执行，激活或确认。Watches作为具有提升特权的系统用户运行，包括读取和写入所有索引的权限。Watches作为具有提升特权的系统用户运行，包括读取和写入所有索引的权限

　　indices权限：

　　all   索引上的任何操作

　　monitor 监控所需的所有操作（恢复，细分信息，索引统计信息和状态）

　　manage 所有monitor特权加索引管理（别名，分析，缓存清除，关闭，删除，存在，刷新，映射，打开，强制合并，刷新，设置，搜索分片，模板，验证）

　　view_index_metadata      对索引元数据（别名，别名存在，获取索引，存在，字段映射，映射，搜索分片，类型存在，验证，warmers，设置）进行只读访问。此特权主要供Kibana用户使用

　　read 只读操作（计数，解释，获取，mget，获取索引脚本，更多像这样，多渗透/搜索/ termvector，渗透，滚动，clear_scroll，搜索，建议，tv）

　　read_cross_cluster     只读访问来自远程集群的搜索操作

　　index     索引和更新文件。还授予对更新映射操作的访问权限

　　create    索引文件。还授予对更新映射操作的访问权限

　　delete    删除文件

　　write      对文档执行所有写入操作的权限，包括索引，更新和删除文档以及执行批量操作的权限。还授予对更新映射操作的访问权限

　　delete_index 删除索引

　　create_index 创建索引。创建索引请求可能包含在创建索引时添加到索引的别名。在这种情况下，该请求最好有manage权限，同时设置索引和别名

3.1  基于角色的权限控制

　　进入到web，找到Management/Security/ Roles，点击Create role

 

　　可以使这个roles关联给多个用户使用：

 

　　以上是创建了一个role权限只对索引data141拥有只读权限，下面创建普通用户wyy

 

　　可以对这个用户关联多个roles。至此创建了一个wyy的用户，只拥有一个read-only的权限，下面验证是否生效

3.2 登录验证

　　发现其他的模块，还有索引都不能查看