Linux部署elasticsearch和迁移数据详细教程_elk7数据迁移

部署 elasticsearch和迁移数据
一、 服务器资源
服务类型：Linux服务器

IP：服务器公网ip地址

操作系统：CentOS 7.9 x64

二、服务端安装JDK
2.1、卸载系统自带的jdk
Centos可能自带了jdk，但是版本可能会较低,执行下面的命令检测是否已经安装了jdk

# rpm -qa | grep jdk
复制代码
1
2

如果检测已经安装了二进制的jdk，则使用下面的命令卸载，防止现在的二进制jdk对你之后安装的源码jdk冲突

可能已经安装，但是版本相当于官网较低，为防止冲突，所以先卸载自带的jdk

#rpm -e --nodeps tzdata-java-2014g-1.el6.noarch
复制代码
1
2

2.2、将JDK放到 tools目录下并解压
把jdk-8u201-linux-x64.tar.gz上传到/opt/tools目录下，解压到/opt/app目录下

# cd /opt/tools    //进到tools目录

# tar -zxvf jdk-8u201-linux-x64.tar.gz -C /opt/app/    //解压jdk-8u201-linux-x64.tar.gz压缩包
复制代码
1
2
3
4

把解压出来的目录改名为jdk1.8

# cd /opt/app    //进到app目录

# mv jdk1.8.0_201 jdk1.8    //改文件的名称
复制代码
1
2
3
4

2.3、将JDK添加到环境变量中

# vi /etc/profile    //打开profile
复制代码
1
2

在文件末尾添加以下内容：

#java env

export JAVA_HOME=/opt/app/jdk1.8

export PATH=$PATH:$JAVA_HOME/bin
复制代码
1
2
3
4
5
6

使修改生效：

# source /etc/profile
复制代码
1
2

验证安装是否成功：

# java -version
复制代码
1
2

三、从节点配置防火墙
启动9200、9300端口

# vi /etc/sysconfig/iptables    ​​​​​​​//打开iptables
复制代码
1
2

添加以下内容：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 9200 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 9300 -j ACCEPT
复制代码
1
2
3
4

重启防火墙

# service iptables restart
复制代码
1
2

四、服务端安装Elasticsearch
4.1、将Elasticsearch放到 tools目录下并解压
把elasticsearch-6.3.2.tar.gz上传到/opt/tools目录下，解压到/opt/app目录下

# cd /opt/tools    //进到tools

# tar -zxvf elasticsearch-6.3.2.tar.gz -C /opt/app/    //解压到app目录
复制代码
1
2
3
4

把解压出来的目录改名为elasticsearch

# cd /opt/app    //进到app目录

# mv elasticsearch-6.3.2 elasticsearch    //更改名称
复制代码
1
2
3
4

4.2、创建数据和日志目录

# cd /opt/    //进到opt目录

# mkdir elk    //创建elk

# cd elk    //进到elk

# mkdir data    //创建data

# mkdir logs    //创建logs
复制代码
1
2
3
4
5
6
7
8
9
10

4.3、修改ES配置文件

# cd /opt/app/elasticsearch/    //进到elasticsearch

# vi config/elasticsearch.yml    ​​​​​​​//打开elasticsearch.yml​​​​​​​
复制代码
1
2
3
4

把里面的内容替换为：

cluster.name: dzjk-es
node.name: es-node1
cluster.initial_master_nodes: [es-node1]
path.data: /opt/elk/data
path.logs: /opt/elk/logs
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: ip
http.port: 9200
discovery.zen.ping.unicast.hosts: ["ip:9300"]
http.cors.enabled: true
http.cors.allow-origin: "*"
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13

注意：以上内容的两处ip替换为Linux服务器的IP

4.4、JVM调优

# vi /opt/app/elasticsearch/config/jvm.options
复制代码
1
2

把xms和xmx设置为物理内存的一半：

-Xms8g

-Xmx8g
复制代码
1
2
3
4

4.5、新建es专用用户并授权

# groupadd elsearch

# useradd elsearch -g elsearch -p elasticsearch
复制代码
1
2
3
4

把es安装目录授权给elsearch用户

# cd /opt/app/

# chown -R elsearch:elsearch ./elasticsearch
复制代码
1
2
3
4

把elk数据和日志目录elsearch用户

# chown -R elsearch:elsearch /opt/elk
复制代码
1
2

4.6、将es添加到环境变量中

# vi /etc/profile
复制代码
1
2

在文件末尾添加以下内容：

#elasticsearch env

export ES_HOME=/opt/app/elasticsearch

export PATH=$PATH:$ES_HOME/bin
复制代码
1
2
3
4
5
6

使修改生效：

# source /etc/profile
复制代码
1
2

4.7、系统优化

# vi /etc/security/limits.conf
复制代码
1
2

在文件末尾添加以下内容：（同时打开文件数和进行数）

* soft nofile 65536

* hard nofile 131072

* soft nproc 65536

* hard nproc 131072
复制代码
1
2
3
4
5
6
7
8

# vi /etc/security/limits.d/20-nproc.conf
复制代码
1
2

添加以下内容：

elsearch   soft    nproc     65536
复制代码
1
2

# vi /etc/sysctl.conf
复制代码
1
2

在文件末尾添加以下内容：

fs.file-max = 655360

vm.max_map_count = 262144
复制代码
1
2
3
4

马上生效：

# sysctl -p
复制代码
1
2

如果启动报错：

max file size [67108864] for user [elsearch] is too low, increase to [unlimited]

#切换root用户，执行下面命令

ulimit -f unlimited
1
2
3
4
5

永久解决：

vi /etc/security/limits.conf
1

加上下面的语句

elsearch - fsize unlimited
注意：/etc/profile 下面是否设置了ulimit -f 1024000，否则不生效
复制代码
1
2
3

4.8、启动es
切换到elsearch用户

# su - elsearch
复制代码
1
2

控制台方式启动：

# elasticsearch
复制代码
1
2

后台方式启动：

# elasticsearch -d
复制代码
1
2

root用户下切换用户后台方式启动：

# su - elsearch -c "/opt/app/elasticsearch/bin/elasticsearch -d"
复制代码
1
2

4.9、测试验证

curl <http://ip:9200>
复制代码
1
2

注意：以上ip替换为Linux服务器的IP

或者在浏览器访问：http://ip:9200/_search?pretty

注意：以上ip替换为Linux服务器的IP

4.10、安装最新版es-7.10.0
1.安装jdk11，安装方式与上面的jdk8相同

# vi /etc/profile
复制代码
1
2

在文件末尾添加以下内容：

#java11 env

export JAVA_HOME2=/opt/app/jdk11

export PATH=$PATH:$JAVA_HOME2/bin
复制代码
1
2
3
4
5
6

使修改生效：

# source /etc/profile
复制代码
1
2

把jdk11安装目录授权给elsearch用户

# cd /opt/app/

# chown -R elsearch:elsearch ./jdk11
复制代码
1
2
3
4

2. 解压es后，修改es的配置为使用jdk11

# vi /opt/app/elasticsearch/bin/elasticsearch-env
复制代码
1
2

3. 启动新版es

切换到elsearch用户

# su - elsearch
复制代码
1
2

控制台方式启动：

# elasticsearch
复制代码
1
2

后台方式启动：

# elasticsearch -d
复制代码
1
2

root用户下切换用户后台方式启动：

# su - elsearch -c "/opt/app/elasticsearch/bin/elasticsearch -d"
复制代码
1
2

验证是否启动成功：

curl <http://ip:9200>
复制代码
1
2

4.11、添加用户权限
1.添加权限配置：

# cd /opt/app/elasticsearch/

# vi config/elasticsearch.yml
复制代码
1
2
3
4

添加内容：

cluster.initial_master_nodes: [es-node1]

## 加密方式

xpack.security.enabled: true

xpack.license.self_generated.type: basic

xpack.security.transport.ssl.enabled: true
复制代码
1
2
3
4
5
6
7
8
9
10

2. 重启es让配置生效

# su - elsearch -c "/opt/app/elasticsearch/bin/elasticsearch -d"
复制代码
1
2

3. 执行命令设置超级管理员用户的密码

cd /opt/app/elasticsearch

./bin/elasticsearch-setup-passwords interactive  
复制代码
1
2
3
4

然后输入密码：elastic（多次一样即可）

4. 创建自定义用户

curl -XPOST -u elastic 'ip:9200/_xpack/security/user/esUser' -H "Content-Type: application/json" -d '{

  "password" : "es12qw!@P@ssw0rd",

  "full_name" : "es user",

  "email" : "test@test",

  "roles" : [ "superuser" ],

  "metadata" : {

    "intelligence" : 7

  }

}'
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

5. 测试连接

Linux测试：（-u用刚才新加的用户密码访问）

curl http://ip:9200 -u esUser:dbPassw0rd
复制代码
1
2

浏览器测试：

使用es-heads输入http://ip:9200/ 会提示填写账号密码，把刚刚设置的esUser，dbPassw0rd填写完连接即可

6. springboot使用es的配置如下：

Spring:
    elasticsearch:
        rest:
            uris: ip:9200
            username: esUser
            password: dbPassw0rd
复制代码
1
2
3
4
5
6
7

4.12、添加es防火墙ip白名单
修改防火墙：

vi /etc/service/iptables
复制代码
1
2

把原9200和9300端口开放的两条规则前面添加#号注释：即变成

#-A INPUT -p tcp -m state --state NEW -m tcp --dport 9200 -j ACCEPT

#-A INPUT -p tcp -m state --state NEW -m tcp --dport 9300 -j ACCEPT
复制代码
1
2
3
4

在COMMIT前添加以下内容：

-A INPUT -s 172.29.0.128 -p tcp --dport 9200 -j ACCEPT

-A INPUT -s 172.29.0.128 -p tcp --dport 9300 -j ACCEPT

-A INPUT -s 172.0.29.133 -p tcp --dport 9200 -j ACCEPT

-A INPUT -s 172.0.29.133 -p tcp --dport 9300 -j ACCEPT
复制代码
1
2
3
4
5
6
7
8

保存退出

重启防火墙：

service iptables restart
复制代码
1
2

五、Elasticdump数据迁移
5.1、安装nodejs
把node官方连接nodejs.org/zh-cn/downl…

# tar -xf node-v14.15.4-linux-x64.tar.xz 

注：(无法用tar解压的，先自己本地解压成xxx.tar)
复制代码
1
2
3
4

# mv node-v14.15.4-linux-x64 /usr/local/node

# cd /usr/bin           #切换到环境变量目录下

# ln -s /usr/local/node/bin/node node        #添加软连接

# ln -s /usr/local/node/bin/npm npm

# node -v                #查看版本，验证是否安装成功\
# npm-v
复制代码
1
2
3
4
5
6
7
8
9
10
11

5.2、安装Elasticdump

# npm install elasticdump -g

#添加软连接
# ln -s  /usr/local/node/lib/node_modules/elasticdump/bin/elasticdump /usr/bin/elasticdump         

#添加软连接
# ln -s  /usr/local/node/lib/node_modules/elasticdump/bin/multielasticdump /usr/bin/multielasticdump        

#验证
# elasticdump --help        
复制代码
1
2
3
4
5
6
7
8
9
10
11

如：无法连网安装，找一个同样环境的联网机器，虚拟机也可以，用来拷贝Elasticdump模块缓存

安装好npm和node以后，npm install elasticdump -g。

安装完成后输入命令查看缓存目录位置：

npm config get cache  ==> /root/.npm
复制代码
1
2

将.npm 打包并拷贝出来

# cd /root/

# tar -cf npm-cache.tar .npm/
复制代码
1
2
3
4

传输到离线机器上的/root目录下面：

#tar -xf /root/npm-cache.tar

# npm install --cache ./npm-cache --optional --cache-min 99999999999 --shrinkwrap false elasticdump

#添加软连接
# ln -s /root/node_modules/elasticdump/bin/elasticdump  /usr/bin/elasticdump  

#添加软连接
# ln -s /root/node_modules/elasticdump/bin/multielasticdump  /usr/bin/multielasticdump 

#验证
# elasticdump --help        
复制代码
1
2
3
4
5
6
7
8
9
10
11

5.3、迁移数据
ES导出 数据 到本地JSON文件 ：

#格式：elasticdump --input {protocol}://{host}:{port}/{index} --output ./test_index.json  

#例子：将ES中的test_index 中的索引导出  

#导出当前索引的mapping结构  

# elasticdump --input http://user:password@ip:9200/test_index --output ./test_index_mapping.json --type=mapping  
复制代码
1
2
3
4
5
6
7
8

#导出当前索引下的所有真实数据  

# elasticdump --input http://user:password@ip:9200/test_index --output ./test_index.json --type=data  
复制代码
1
2
3
4

#上面导出的两个文件都是在导入到ES中所需要的，一个是mapping文件，另外一个是数据，当然mapping也可以自己手动建立

本地JSON文件导入到ES中：

通过上面导出，已经导出了两个文件，一个是数据文件，一个是mapping文件。

#创建索引

# curl -XPUT <http://ip:9200/test_index> -u esUser:dbPassw0rd
复制代码
1
2
3
4

#导入mapping

# elasticdump --input ./test_index_mapping.json --output http://user:password@ip:9200/ --type=mapping
复制代码
1
2
3
4

#导入data数据

# elasticdump --input ./test_index.json --output http://user:password@ip:9200/ --type=data
复制代码
1
2
3
4

好了，以上就是linux部署elasticsearch，迁移elasticsearch数据的全过程，到zheljiu全部结束了，有不懂的可以在下方留言^_

最后
如果你觉得这篇文章对你有点用的话，麻烦请给我们的开源项目点点star:http://github.crmeb.net/u/defu不胜感激 ！

免费获取源码地址：http://ym.baisouvip.cn/html/wzym/36.html

PHP学习手册：https://doc.crmeb.com

技术交流论坛：https://q.crmeb.com添加链接描述