devbox
我家小花儿
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

MySQL-Cluster集群部署实战_mysql cluster安装

作者：我家小花儿 | 2024-04-27 23:29:02

赞

踩

mysql cluster安装

目录

一、环境准备（安装前的准备）

主机名主机IP系统配置操作系统和内核版本
mysql-galera1192.168.221.1312c4g/1c2gCentOS Linux release 7.9.2009 (Core)/3.10.0-1160.66.1.el7.x86_64
mysql-galera2192.168.221.1322c4g/1c2gCentOS Linux release 7.9.2009 (Core)/3.10.0-1160.66.1.el7.x86_64
mysql-galera3192.168.221.1332c4g/1c2gCentOS Linux release 7.9.2009 (Core)/3.10.0-1160.66.1.el7.x86_64

特别说明：以下操作所有服务器都要操作！

1.修改主机名

[root@mysql-galera1 ~]# hostnamectl set-hostname mysql-galera1
[root@mysql-galera2 ~]# hostnamectl set-hostname mysql-galera2
[root@mysql-galera3 ~]# hostnamectl set-hostname mysql-galera3

  • 1
  • 2
  • 3

2.关闭selinux和防火墙

在所有主机上执行：

[root@mysql-galera1 ~]# systemctl stop firewalld && systemctl disable firewalld
[root@mysql-galera1 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
​
//SELINUX配置需要重启服务器生效，若要立马生效，执行如下命令
[root@mysql-galera1 ~]# setenforce 0

  • 1
  • 2
  • 3
  • 4
  • 5

3.所有主机配置host解析

[root@mysql-galera1 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
​
192.168.221.131 mysql-galera1
192.168.221.132 mysql-galera2
192.168.221.133 mysql-galera3

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

4.所有主机配置时区

//修改时区：(时间必须一致)
[root@mysql-galera1 ~]# ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
[root@mysql-galera1 ~]# timedatectl set-timezone Asia/Shanghai

  • 1
  • 2
  • 3

5.查看并卸载系统原有的 mariadb和mysql

（必须卸载，否则后期会有问题）

[root@mysql-galera1 ~]# yum erase `rpm -qa | grep mysql` -y ; yum erase `rpm -qa | grep mariadb` -y

  • 1

6.更新 epel 源

[root@mysql-galera1 ~]# yum -y install epel-release

  • 1

二、在线安装&&本地安装galera-cluster集群

以下步骤所有主机都要操作！

1.在线yum安装galera

（1）所有主机配置yum源
添加yum配置文件并使用yum安装配置yum源

[root@mysql-galera1 ~]# vim /etc/yum.repos.d/galera.repo
[galera]
name=galera
baseurl=http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/
enabled=1
gpgcheck=0

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

（2）清除旧的缓存，生成新的缓存

[root@mysql-galera1 ~]# yum clean all && yum makecache

  • 1

（3）搜索galera相关的安装包

[root@mysql-galera1 ~]# yum list | grep 'galera'
Repository cr is listed more than once in the configuration
Repository fasttrack is listed more than once in the configuration
galera.x86_64                            25.3.12-2.el7                 epel
mysql-wsrep-5.7.x86_64                   5.7.43-25.35.el7              galera
mysql-wsrep-client-5.7.x86_64            5.7.43-25.35.el7              galera
mysql-wsrep-common-5.7.x86_64            5.7.43-25.35.el7              galera
mysql-wsrep-devel-5.7.x86_64             5.7.43-25.35.el7              galera
mysql-wsrep-libs-5.7.x86_64              5.7.43-25.35.el7              galera
mysql-wsrep-libs-compat-5.7.x86_64       5.7.43-25.35.el7              galera
mysql-wsrep-server-5.7.x86_64            5.7.43-25.35.el7              galera
mysql-wsrep-test-5.7.x86_64              5.7.43-25.35.el7              galera

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

（4）yum在线安装galera

[root@mysql-galera1 ~]# yum install mysql-wsrep-5.7.x86_64 galera rsync -y
//在线安装的速度较慢

  • 1
  • 2

（5）安装完成后，查看已安装的mysql

[root@mysql-galera1 ~]# rpm -qa|egrep 'galera|rsync|mysql'
galera-25.3.12-2.el7.x86_64
mysql-wsrep-client-5.7-5.7.43-25.35.el7.x86_64
mysql-wsrep-server-5.7-5.7.43-25.35.el7.x86_64
rsync-3.1.2-12.el7_9.x86_64
mysql-wsrep-libs-5.7-5.7.43-25.35.el7.x86_64
mysql-wsrep-libs-compat-5.7-5.7.43-25.35.el7.x86_64
mysql-wsrep-common-5.7-5.7.43-25.35.el7.x86_64
mysql-wsrep-5.7-5.7.43-25.35.el7.x86_64

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

（6）安装报错
/var/lib/mysql下3个文件：grastate.dat gvwstate.dat galera.cache
如果出了错，把他们统统干掉
（7）所有主机启动mysqld并修改密码

[root@mysql-galera1 ~]# systemctl start mysqld
//启动mysqld并设置开机自启
​
//获取mysqld的初始密码
[root@mysql-galera1 ~]# mysql_pass=`grep 'password is generated' /var/log/mysqld.log |awk '{print $NF}' |awk 'END{print}'` && echo $mysql_pass
Lf*C!p1w!V(w
​
[root@galera1 ~]# mysqladmin -u root -p${mysql_pass} password 'JiannLT@123'
[root@galera1 ~]# mysql -u root -p'JiannLT@123'

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

（8）所有主机创建用于数据同步的用户

#每台机器都要创建用于数据同步的用户：
mysql> grant all on *.* to 'syncuser'@'%' identified by 'JiannLT@123';
Query OK, 0 rows affected, 1 warning (0.00 sec)
​
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

（9）所有主机配置galera集群

  • mysql-galera1配置：主配置文件my.cnf中[mysqld]标签内，【追加】如下内容
[root@mysql-galera1 ~]# cp /etc/my.cnf{,.bak}
[root@mysql-galera1 ~]# vim /etc/my.cnf    //[mysqld]以下为追加内容
server-id=1
binlog_format=row
innodb_file_per_table=1
innodb_autoinc_lock_mode=2
wsrep_on=ON
wsrep_provider=/usr/lib64/galera/libgalera_smm.so
wsrep_cluster_name='galera'
wsrep_cluster_address='gcomm://'
wsrep_node_name='galera1'
wsrep_node_address='192.168.221.131'
wsrep_sst_auth=syncuser:'JiannLT@123'
wsrep_sst_method=rsync

//重启mysql服务：
[root@mysql-galera1 ~]# systemctl  restart mysqld

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • mysql-galera2配置：主配置文件my.cnf中[mysqld]标签内，【追加】如下内容
[root@mysql-galera2 ~]# cp /etc/my.cnf{,.bak}
[root@mysql-galera2 ~]# vim /etc/my.cnf    //[mysqld]追加内容如下：
server-id=2
binlog_format=row
innodb_file_per_table=1
innodb_autoinc_lock_mode=2
wsrep_on=ON
wsrep_provider=/usr/lib64/galera/libgalera_smm.so
wsrep_cluster_name='galera'
wsrep_cluster_address='gcomm://192.168.221.131,192.168.221.132,192.168.221.133'
wsrep_node_name='galera2'
wsrep_node_address='192.168.221.132'
wsrep_sst_auth=syncuser:'JiannLT@123'
wsrep_sst_method=rsync
//重启服务：
[root@galera2 ~]# systemctl  restart mysqld

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • mysql-galera3配置：主配置文件my.cnf中[mysqld]标签内，【追加】如下内容
[root@mysql-galera3 ~]# cp /etc/my.cnf{,.bak}
[root@mysql-galera3 ~]# vim /etc/my.cnf    //[mysqld]追加内容如下：
server-id=3
binlog_format=row
innodb_file_per_table=1
innodb_autoinc_lock_mode=2
wsrep_on=ON
wsrep_provider=/usr/lib64/galera/libgalera_smm.so
wsrep_cluster_name='galera'
wsrep_cluster_address='gcomm://192.168.221.131,192.168.221.132,192.168.221.133'
wsrep_node_name='galera3'
wsrep_node_address='192.168.221.133'
wsrep_sst_auth=syncuser:'JiannLT@123'
wsrep_sst_method=rsync
//重启服务：
[root@mysql-galera3 ~]# systemctl  restart mysqld

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

​参数解释：
server-id=1：设置MySQL服务器的唯一标识符，用于复制和集群环境中的节点识别。
binlog_format=row：设置二进制日志的格式为行级别复制。这种格式记录了每个修改数据的具体行级别操作，以便在复制和恢复过程中更准确地重放和应用更改。
innodb_file_per_table=1：设置InnoDB存储引擎为每个表创建独立的表空间文件。这样每个表将有自己的数据文件，提供更好的性能和管理灵活性。
innodb_autoinc_lock_mode=2：设置InnoDB自增锁定模式为连续锁定模式。在这种模式下，自增列的锁定级别更低，可以提高并发性能。
wsrep_on=ON：启用Galera集群的插件，用于支持多主同步复制。
wsrep_provider=/usr/lib64/galera/libgalera_smm.so：指定Galera集群插件的位置。
wsrep_cluster_name=‘galera’：设置Galera集群的名称，用于识别相同集群中的节点。
wsrep_cluster_address=‘gcomm://’：设置Galera集群的地址。在这个示例中，使用了空的集群地址，表示将通过其他配置文件或命令行参数来指定集群中的节点。第一个节点使用了空的集群地址，是因为 Galera 集群底层使用了一种叫做 “组播(multicast)” 的方式让节点互相发现和通信。
wsrep_node_name=‘galera1’：设置Galera集群节点的名称，用于在集群中唯一标识节点。
wsrep_node_address=‘192.168.221.131’：设置Galera集群节点的网络地址，用于节点间的通信。
wsrep_sst_auth=syncuser:‘JiannLT@123’：指定用于执行状态快照传输（State Snapshot Transfer，SST）的身份验证信息。用户名是"syncuser"，密码是"JiannLT@123。
wsrep_sst_method=rsync：设置状态快照传输（SST）的方法为rsync，即使用rsync工具来传输数据。

配置文件特别说明：

  • 特别说明：”gcomm://” 是特殊的地址，第一个galera节点的wsrep_cluster_address 初始值要配置为 ‘gcomm://’ ，因为初始配置的时候是没有集群存在的；
  • 当mysql-galera1节点启动以后才有集群。启动其他节点就可以添加到mysql-galera1所在的 galera cluster 集群了；其他节点要配置为所有节点的IP地址：wsrep_cluster_address=’gcomm://192.168.221.131,192.168.221.132,192.168.221.133’。
  • 当 mysql-galera1 节点需要重启的时候，我们需要把配置信息修改为：wsrep_cluster_address=’gcomm://192.168.221.131,192.168.221.132,192.168.221.133’。

（10）所有主机查看集群状态
所有节点都配置完集群信息后，需要将mysql-galera1节点的 gcomm://修改一下，然后重启mysqld；不然后续重启galera1节点的mysql，会发现它在另外一个集群中！

[root@mysql-galera1 ~]# vim /etc/my.cnf
wsrep_cluster_address='gcomm://192.168.221.131,192.168.221.132,192.168.221.133'
[root@mysql-galera1 ~]# systemctl restart mysqld

  • 1
  • 2
  • 3
​#查看mysql版本
mysql> SHOW GLOBAL VARIABLES LIKE 'version';

#查看wsrep版本
mysql> SHOW GLOBAL STATUS LIKE 'wsrep_provider_version';
 
#查看集群地址
mysql> SHOW VARIABLES LIKE 'wsrep_cluster_address';
+-----------------------+------------------------------------------------------+
| Variable_name         | Value                                                |
+-----------------------+------------------------------------------------------+
| wsrep_cluster_address | gcomm://192.168.221.131,192.168.221.132,192.168.221.133 |
+-----------------------+------------------------------------------------------+
1 row in set (0.00 sec)
​
#查看Galera集群状态
mysql> show status like 'wsrep%';
+------------------------------+-------------------------------------------------------------+
| Variable_name                | Value                                                       |
+------------------------------+-------------------------------------------------------------+
| wsrep_local_state_uuid       | ea1a308f-425f-11ee-87ac-5fe2ff4351a2                        |
| wsrep_protocol_version       | 7                                                           |
| wsrep_last_committed         | 5                                                           |
| wsrep_replicated             | 2                                                           |
| wsrep_replicated_bytes       | 392                                                         |
| wsrep_repl_keys              | 2                                                           |
| wsrep_repl_keys_bytes        | 62                                                          |
| wsrep_repl_data_bytes        | 202                                                         |
| wsrep_repl_other_bytes       | 0                                                           |
| wsrep_received               | 13                                                          |
| wsrep_received_bytes         | 2456                                                        |
| wsrep_local_commits          | 0                                                           |
| wsrep_local_cert_failures    | 0                                                           |
| wsrep_local_replays          | 0                                                           |
| wsrep_local_send_queue       | 0                                                           |
| wsrep_local_send_queue_max   | 2                                                           |
| wsrep_local_send_queue_min   | 0                                                           |
| wsrep_local_send_queue_avg   | 0.250000                                                    |
| wsrep_local_recv_queue       | 0                                                           |
| wsrep_local_recv_queue_max   | 2                                                           |
| wsrep_local_recv_queue_min   | 0                                                           |
| wsrep_local_recv_queue_avg   | 0.230769                                                    |
| wsrep_local_cached_downto    | 2                                                           |
| wsrep_flow_control_paused_ns | 0                                                           |
| wsrep_flow_control_paused    | 0.000000                                                    |
| wsrep_flow_control_sent      | 0                                                           |
| wsrep_flow_control_recv      | 0                                                           |
| wsrep_cert_deps_distance     | 1.000000                                                    |
| wsrep_apply_oooe             | 0.000000                                                    |
| wsrep_apply_oool             | 0.000000                                                    |
| wsrep_apply_window           | 1.000000                                                    |
| wsrep_commit_oooe            | 0.000000                                                    |
| wsrep_commit_oool            | 0.000000                                                    |
| wsrep_commit_window          | 1.000000                                                    |
| wsrep_local_state            | 4                                                           |
| wsrep_local_state_comment    | Synced                                                      |
| wsrep_cert_index_size        | 3                                                           |
| wsrep_causal_reads           | 0                                                           |
| wsrep_cert_interval          | 0.000000                                                    |
| wsrep_incoming_addresses     | 192.168.221.131:3306,192.168.221.132:3306,192.168.221.133:3306 |
| wsrep_evs_delayed            |                                                             |
| wsrep_evs_evict_list         |                                                             |
| wsrep_evs_repl_latency       | 0/0/0/0/0                                                   |
| wsrep_evs_state              | OPERATIONAL                                                 |
| wsrep_gcomm_uuid             | 0291c744-4264-11ee-bd79-feb3b518c4ad                        |
| wsrep_cluster_conf_id        | 8                                                           |
| wsrep_cluster_size           | 3                                                           |
| wsrep_cluster_state_uuid     | ea1a308f-425f-11ee-87ac-5fe2ff4351a2                        |
| wsrep_cluster_status         | Primary                                                     |
| wsrep_connected              | ON                                                          |
| wsrep_local_bf_aborts        | 0                                                           |
| wsrep_local_index            | 0                                                           |
| wsrep_provider_name          | Galera                                                      |
| wsrep_provider_vendor        | Codership Oy <info@codership.com>                           |
| wsrep_provider_version       | 3.12(r9921e73)                                              |
| wsrep_ready                  | ON                                                          |
+------------------------------+-------------------------------------------------------------+
56 rows in set (0.00 sec)

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78

参数解释：
wsrep_local_state_uuid: 当前节点的Galera集群状态UUID。
wsrep_protocol_version: Galera集群使用的通信协议版本。
wsrep_last_committed: 最后一次提交的事务序号。
wsrep_replicated: 已复制的事务数。
wsrep_replicated_bytes: 已复制的字节数。
wsrep_repl_keys: 复制的键数。
wsrep_repl_keys_bytes: 复制的键字节数。
wsrep_repl_data_bytes: 复制的数据字节数。
wsrep_received: 接收到的事务数。
wsrep_received_bytes: 接收到的字节数。
wsrep_local_commits: 本地提交的事务数。
wsrep_local_cert_failures: 本地认证失败的次数。
wsrep_local_replays: 本地重放的事务数。
wsrep_local_send_queue: 本地发送队列中待发送的事务数。
wsrep_local_send_queue_max: 本地发送队列的最大大小。
wsrep_local_send_queue_min: 本地发送队列的最小大小。
wsrep_local_send_queue_avg: 本地发送队列的平均大小。
wsrep_local_recv_queue: 本地接收队列中待处理的事务数。
wsrep_local_recv_queue_max: 本地接收队列的最大大小。
wsrep_local_recv_queue_min: 本地接收队列的最小大小。
wsrep_local_recv_queue_avg: 本地接收队列的平均大小。
wsrep_local_cached_downto: 本地缓存的最低已应用事务序号。
wsrep_flow_control_paused_ns: 由于流控而暂停的时间（纳秒）。
wsrep_flow_control_paused: 由于流控而暂停的时间（秒）。
wsrep_flow_control_sent: 发送的流控消息数。
wsrep_flow_control_recv: 接收的流控消息数。
wsrep_cert_deps_distance: 当前事务的依赖关系距离。
wsrep_apply_oooe: 超出顺序执行的应用事务数。
wsrep_apply_oool: 超出限制的顺序执行的应用事务数。
wsrep_apply_window: 应用事务窗口大小。
wsrep_commit_oooe: 超出顺序提交的事务数。
wsrep_commit_oool: 超出限制的顺序提交的事务数。
wsrep_commit_window: 提交事务窗口大小。
wsrep_local_state: 本地节点的Galera状态。
wsrep_local_state_comment: 本地节点的Galera状态说明。
wsrep_cert_index_size: 事务认证索引的大小。
wsrep_causal_reads: 执行的因果一致性读取数。
wsrep_cert_interval: 事务认证间隔。
wsrep_incoming_addresses: 集群中接收到的节点地址列表。
wsrep_evs_state: EVS（Endpoint Visibility State）状态。
wsrep_gcomm_uuid: 当前节点的GCOMM（Group Communication）UUID。
wsrep_cluster_conf_id：表示 Galera 集群配置的标识符。每当你更改 Galera 集群的配置时，这个标识符都会增加，以便节点能够识别出配置更改。
wsrep_cluster_size: Galera集群中的节点数。
wsrep_cluster_state_uuid: Galera集群的状态UUID。
wsrep_cluster_status: Galera集群的状态。
wsrep_connected: 是否与Galera集群连接。
wsrep_local_bf_aborts: 本地节点的BF（BF-LRU Bloom Filter）中的中止数。
wsrep_local_index: 本地节点的索引。
wsrep_provider_name: 使用的Galera提供程序的名称。
wsrep_provider_vendor: Galera提供程序的供应商。
wsrep_provider_version: Galera提供程序的版本。
wsrep_ready: 是否准备就绪。

监控状态说明
集群完整性检查：

  • wsrep_cluster_state_uuid：在集群所有节点的值应该是相同的，如果有不同值的节点，说明其没有连接入集群。
  • wsrep_cluster_conf_id：正常情况下所有节点上该值是一样的。如果值不同，说明该节点被临时”分区”了。当节点之间网络连接恢复的时候应该会恢复一样的值。
  • wsrep_cluster_size：如果这个值跟预期的节点数一致，则所有的集群节点已经连接。
  • wsrep_cluster_status：集群组成的状态。如果不为”Primary”，说明出现”分区”或是”split-brain脑裂”状况。

节点状态检查：

  • wsrep_ready： 该值为ON，则说明可以接受SQL负载。如果为Off，则需要检查wsrep_connected。
  • wsrep_connected： 如果该值为Off，且wsrep_ready的值也为Off，则说明该节点没有连接到集群。（可能是）
  • wsrep_cluster_address或wsrep_cluster_name等配置错造成的。具体错误需要查看错误日志
  • wsrep_local_state_comment：如果wsrep_connected为On，但wsrep_ready为OFF，则可以从该项查看原因。

复制健康检查：

  • wsrep_flow_control_paused：表示复制停止了多长时间。即表明集群因为Slave延迟而慢的程度。值为0~1，越靠近0越好，值为1表示复制完全停止。可优化wsrep_slave_threads的值来改善。
  • wsrep_cert_deps_distance：有多少事务可以并行应用处理。wsrep_slave_threads设置的值不应该高出该值太多。
  • wsrep_flow_control_sent：表示该节点已经停止复制了多少次。
  • wsrep_local_recv_queue_avg：表示slave事务队列的平均长度。slave瓶颈的预兆。

最慢的节点的wsrep_flow_control_sent和wsrep_local_recv_queue_avg这两个值最高。这两个值较低的话，相对更好。

检测慢网络问题：wsrep_local_send_queue_avg：网络瓶颈的预兆，如果这个值比较高的话，可能存在网络瓶颈

冲突或死锁的数目：

  • wsrep_last_committed：最后提交的事务数目
  • wsrep_local_cert_failures和wsrep_local_bf_aborts：回滚，检测到的冲突数

（11）创建数据库、数据表，插入数据，测试数据同步情况
在mysql-galera1服务器中创建数据库，在mysql-galera2中创建数据表，在mysql-galera3中插入数据，观察是否同步

1.galera1上操作
[root@mysql-galera1 ~]# hostname -I
192.168.221.131 
[root@mysql-galera1 ~]# mysql -uroot -p'JiannLT@123' 
mysql> create database test;
Query OK, 1 row affected (0.01 sec)
​
2.galera2上操作
[root@mysql-galera2 ~]# hostname -I
192.168.221.132
[root@mysql-galera2 ~]# mysql -uroot -p'JiannLT@123'
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| test               |      //有test这个库了
+--------------------+
5 rows in set (0.00 sec)
​
//在test库中创建表格
mysql> create table test.t1(id int);
Query OK, 0 rows affected (0.02 sec)
​
​3.galera3上操作
[root@mysql-galera3 ~]# hostname -I
192.168.221.133
[root@mysql-galera3 ~]# mysql -uroot -p'JiannLT@123'
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| test               |
+--------------------+
5 rows in set (0.00 sec)
​
mysql> show tables from test;
+----------------+
| Tables_in_test |
+----------------+
| t1             |
+----------------+
1 row in set (0.00 sec)
​
mysql> select * from test.t1;
Empty set (0.05 sec)
​
//插入数据
mysql> insert into test.t1 values(1);
Query OK, 1 row affected (0.01 sec)
​
mysql> select * from test.t1;
+------+
| id   |
+------+
|    1 |
+------+
1 row in set (0.00 sec)
​
//再到galera1中查看test库的t1表是否有数据
[root@mysql-galera1 ~]# hostname -I
192.168.221.131 
[root@mysql-galera1 ~]# mysql -uroot -p'JiannLT@123'
mysql> select * from test.t1;
+------+
| id   |
+------+
|    1 |
+------+
1 row in set (0.00 sec)
数据同步成功！！！

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78

centos7 yum在线部署galera集群完成！

2.本地rpm文件离线安装galera集群

（1）安装前的准备请参考上面
（2）下载集群软件包并安装
需要以下rpm包，可以提前下载。(本地终端上传也可以，更快一点)
官网下载地址：https://galeracluster.com/downloads/
可在这个网址下载：http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/ http://releases.galeracluster.com/galera-3.37/centos/7/x86_64/galera-3-25.3.37-1.el7.x86_64.rpm

  • galera-3-25.3.37-1.el7.x86_64.rpm
  • mysql-wsrep-5.7-5.7.43-25.35.el7.x86_64.rpm
  • mysql-wsrep-client-5.7-5.7.43-25.35.el7.x86_64.rpm
  • mysql-wsrep-common-5.7-5.7.43-25.35.el7.x86_64.rpm
  • mysql-wsrep-devel-5.7-5.7.43-25.35.el7.x86_64.rpm
  • mysql-wsrep-libs-5.7-5.7.43-25.35.el7.x86_64.rpm
  • mysql-wsrep-libs-compat-5.7-5.7.43-25.35.el7.x8…>
  • mysql-wsrep-server-5.7-5.7.43-25.35.el7.x86_64.rpm
  • mysql-wsrep-test-5.7-5.7.43-25.35.el7.x86_64.rpm
    共计9个文件

安装本地的rpm包，建议使用yum安装，会自动安装依赖

[root@mysql-galera1 ~]# yum erase `rpm -qa | grep mysql` -y ; yum erase `rpm -qa | grep mariadb` -y
[root@mysql-galera1 ~]# yum -y install ./mysql-*
[root@mysql-galera1 ~]# yum -y install galera rsync
//安装完看看是否都已安装成功
[root@mysql-galera1 ~]# rpm -qa|egrep 'mysql|galera|rsync'
mysql-wsrep-libs-5.7-5.7.43-25.35.el7.x86_64
mysql-wsrep-5.7-5.7.43-25.35.el7.x86_64
galera-3-25.3.37-1.el7.x86_64
mysql-wsrep-common-5.7-5.7.43-25.35.el7.x86_64
mysql-wsrep-client-5.7-5.7.43-25.35.el7.x86_64
mysql-wsrep-libs-compat-5.7-5.7.43-25.35.el7.x86_64
mysql-wsrep-server-5.7-5.7.43-25.35.el7.x86_64
mysql-wsrep-test-5.7-5.7.43-25.35.el7.x86_64
mysql-wsrep-devel-5.7-5.7.43-25.35.el7.x86_64
rsync-3.1.2-12.el7_9.x86_64

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

（3）所有主机启动mysqld并修改密码

[root@mysql-galera1 ~]# systemctl restart mysqld    //启动mysql
​
//获取mysqld的初始密码
[root@mysql-galera1 ~]# mysql_pass=`grep 'password is generated' /var/log/mysqld.log |awk '{print $NF}' |awk 'END{print}'` && echo $mysql_pass
Lf*C!p1w!V(w
[root@mysql-galera1 ~]# mysqladmin -u root -p${mysql_pass} password 'JiannLT@123'
[root@mysql-galera1 ~]# mysql -u root -p'JiannLT@123'

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

（4）所有主机创建用于数据同步的用户

#每台机器都要创建用于数据同步的用户：
mysql> grant all on *.* to 'syncuser'@'%' identified by 'JiannLT@123';
Query OK, 0 rows affected, 1 warning (0.00 sec)
​
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

（5）所有主机配置galera集群
详细步骤参照上面的（9）

1.galera1配置文件如下
[root@mysql-galera1 ~]# cp /etc/my.cnf{,.bak}
[root@mysql-galera1 ~]# vim /etc/my.cnf    //[mysqld]追加内容如下：
server-id=1
binlog_format=row
innodb_file_per_table=1
innodb_autoinc_lock_mode=2
wsrep_on=ON
wsrep_provider=/usr/lib64/galera/libgalera_smm.so
wsrep_cluster_name='galera'
wsrep_cluster_address='gcomm://'
wsrep_node_name='galera1'
wsrep_node_address='192.168.221.128'
wsrep_sst_auth=syncuser:'JiannLT@123'
wsrep_sst_method=rsync
//重启galera1的mysql
[root@mysql-galera1 ~]# systemctl restart mysqld
//查看端口
[root@mysql-galera1 ~]# netstat -ntlp|grep mysql
tcp        0      0 0.0.0.0:4567            0.0.0.0:*               LISTEN      3111/mysqld
tcp6       0      0 :::3306                 :::*                    LISTEN      3111/mysqld
​
2.galera2配置文件如下
[root@mysql-galera2 ~]# cp /etc/my.cnf{,.bak}
[root@mysql-galera2 ~]# vim /etc/my.cnf    //[mysqld]追加内容如下：
server-id=2
binlog_format=row
innodb_file_per_table=1
innodb_autoinc_lock_mode=2
wsrep_on=ON
wsrep_provider=/usr/lib64/galera/libgalera_smm.so
wsrep_cluster_name='galera'
wsrep_cluster_address='gcomm://192.168.221.128,192.168.221.129,192.168.221.130'
wsrep_node_name='galera2'
wsrep_node_address='192.168.221.129'
wsrep_sst_auth=syncuser:'JiannLT@123'
wsrep_sst_method=rsync
//重启galera2的mysql
[root@mysql-galera1 ~]# systemctl restart mysqld
​//查看端口
[root@mysql-galera2 ~]# netstat -ntlp|grep mysql
tcp        0      0 0.0.0.0:4567            0.0.0.0:*               LISTEN      2385/mysqld
tcp6       0      0 :::3306                 :::*                    LISTEN      2385/mysqld
​
​3.galera3配置文件如下
[root@mysql-galera3 ~]# cp /etc/my.cnf{,.bak}
[root@mysql-galera3 ~]# vim /etc/my.cnf    //[mysqld]追加内容如下：
server-id=3
binlog_format=row
innodb_file_per_table=1
innodb_autoinc_lock_mode=2
wsrep_on=ON
wsrep_provider=/usr/lib64/galera/libgalera_smm.so
wsrep_cluster_name='galera'
wsrep_cluster_address='gcomm://192.168.221.128,192.168.221.129,192.168.221.130'
wsrep_node_name='galera3'
wsrep_node_address='192.168.221.130'
wsrep_sst_auth=syncuser:'JiannLT@123'
wsrep_sst_method=rsync
//重启galera3的mysql
[root@mysql-galera1 ~]# systemctl restart mysqld
​//查看端口
[root@mysql-galera3 ~]# netstat -ntlp|grep mysql
tcp        0      0 0.0.0.0:4567            0.0.0.0:*               LISTEN      2497/mysqld
tcp6       0      0 :::3306                 :::*                    LISTEN      2497/mysqld
​
4.所有节点查看集群地址
mysql> SHOW VARIABLES LIKE 'wsrep_cluster_address';
+-----------------------+------------------------------------------------------+
| Variable_name         | Value                                                |
+-----------------------+------------------------------------------------------+
| wsrep_cluster_address | gcomm://192.168.221.128,192.168.221.129,192.168.221.130 |
+-----------------------+------------------------------------------------------+
1 row in set (0.00 sec)
​
5.所有节点查看Galera集群状态，观察wsrep_cluster_size、wsrep_incoming_addresses、wsrep_ready是否都一致
mysql> show status like 'wsrep%';
​
6.插入测试数据，参考5.4.3.1.12
mysql> create database qftest;
Query OK, 1 row affected (0.03 sec)

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81

3.拓展——使用yum缓存+ftp安装galera

  • 原理：**下载rpm前，所有主机开启yum cache缓存，集群中一定有下载速度比较快的节点，速度快的节点先将所有的rpm包下载下来后，配置vsftp，其他节点直接从这个节点下载rpm包
  • 操作如下**
//修改Yum源
[root@mysql-galera1 ~]# cat /etc/yum.repos.d/galera.repo
[galera]
name=galera
baseurl=http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/
enabled=1
gpgcheck=0
​
​//为了方便其他节点安装Galera、我们把Yum源下载的内容缓存下来做成本地Yum源加快安装速度
[root@mysql-galera1 ~]# cat /etc/yum.conf
[main]
cachedir=/var/cache/yum/$basearch/$releasever   //缓存目录，默认已经就存在的
keepcache=1    //开启缓存
......
​
//galera Yum源包含的包
[root@mysql-galera1 ~]# yum clean all && yum makecache
[root@mysql-galera1 ~]# yum list | egrep 'wsrep|galera'
Repository cr is listed more than once in the configuration
Repository fasttrack is listed more than once in the configuration
galera.x86_64                            25.3.12-2.el7                 epel
mysql-wsrep-5.7.x86_64                   5.7.43-25.35.el7              galera
mysql-wsrep-client-5.7.x86_64            5.7.43-25.35.el7              galera
mysql-wsrep-common-5.7.x86_64            5.7.43-25.35.el7              galera
mysql-wsrep-devel-5.7.x86_64             5.7.43-25.35.el7              galera
mysql-wsrep-libs-5.7.x86_64              5.7.43-25.35.el7              galera
mysql-wsrep-libs-compat-5.7.x86_64       5.7.43-25.35.el7              galera
mysql-wsrep-server-5.7.x86_64            5.7.43-25.35.el7              galera
mysql-wsrep-test-5.7.x86_64              5.7.43-25.35.el7              galera
​
//执行安装命令
[root@mysql-galera1 ~]# yum install mysql-wsrep-5.7.x86_64 galera rsync -y

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 注：这里galera如果安装不上可以添加一下epel源：yum install -y epel-release
  • 配置本地yum源
//把缓存下来的galera包拷贝到galera目录
[root@mysql-galera1 ~]# mkdir -p galera
[root@mysql-galera1 ~]# find /var/cache/yum/x86_64/7/ -iname "*.rpm" -exec cp -a {} galera \;
[root@mysql-galera1 ~]#  ls galera/
boost-program-options-1.53.0-28.el7.x86_64.rpm      mysql-wsrep-libs-5.7-5.7.43-25.35.el7.x86_64.rpm
galera-25.3.12-2.el7.x86_64.rpm                     mysql-wsrep-libs-compat-5.7-5.7.43-25.35.el7.x86_64.rpm
libpcap-1.5.3-13.el7_9.x86_64.rpm                   mysql-wsrep-server-5.7-5.7.43-25.35.el7.x86_64.rpm
lsof-4.87-6.el7.x86_64.rpm                          nmap-ncat-6.40-19.el7.x86_64.rpm
mysql-wsrep-5.7-5.7.43-25.35.el7.x86_64.rpm         rsync-3.1.2-12.el7_9.x86_64.rpm
mysql-wsrep-client-5.7-5.7.43-25.35.el7.x86_64.rpm  socat-1.7.3.2-2.el7.x86_64.rpm
mysql-wsrep-common-5.7-5.7.43-25.35.el7.x86_64.rpm  stunnel-4.56-6.el7.x86_64.rpm
​
​//安装vsftpd和createrepo
[root@mysql-galera1 ~]# yum install vsftpd createrepo -y
[root@mysql-galera1 ~]# cp -r galera /var/ftp
[root@mysql-galera1 ~]# ls /var/ftp/galera/
boost-program-options-1.53.0-28.el7.x86_64.rpm      mysql-wsrep-libs-compat-5.7-5.7.43-25.35.el7.x86_64.rpm
galera-25.3.12-2.el7.x86_64.rpm                     mysql-wsrep-server-5.7-5.7.43-25.35.el7.x86_64.rpm
libpcap-1.5.3-13.el7_9.x86_64.rpm                   nmap-ncat-6.40-19.el7.x86_64.rpm
lsof-4.87-6.el7.x86_64.rpm                          
mysql-wsrep-5.7-5.7.43-25.35.el7.x86_64.rpm         rsync-3.1.2-12.el7_9.x86_64.rpm
mysql-wsrep-client-5.7-5.7.43-25.35.el7.x86_64.rpm  socat-1.7.3.2-2.el7.x86_64.rpm
mysql-wsrep-common-5.7-5.7.43-25.35.el7.x86_64.rpm  stunnel-4.56-6.el7.x86_64.rpm
mysql-wsrep-libs-5.7-5.7.43-25.35.el7.x86_64.rpm
​
​//创建本地Yum仓库
[root@mysql-galera1 ~]# createrepo /var/ftp/galera/
Spawning worker 0 with 2 pkgs
Spawning worker 1 with 2 pkgs
Spawning worker 2 with 2 pkgs
Spawning worker 3 with 1 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete

//启动vsftp、Yum源就已经做好了
[root@mysql-galera1 ~]# systemctl start vsftpd
[root@mysql-galera1 ~]# systemctl enable vsftpd
Created symlink from /etc/systemd/system/multi-user.target.wants/vsftpd.service to /usr/lib/systemd/system/vsftpd.service.

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 其他节点使用本地yum源
[root@mysql-galera2 ~]# yum erase `rpm -qa | grep mysql` -y ; yum erase `rpm -qa | grep mariadb` -y
​
#配置本地Yum源
[root@mysql-galera2 ~]# cat /etc/yum.repos.d/galera.repo 
[galera]
name=galera
baseurl=ftp://192.168.221.128/galera
gpgcheck=0
​
//安装galera
[root@mysql-galera2 ~]# yum install mysql-wsrep-5.7.x86_64 galera rsync -y
[root@mysql-galera2 ~]# systemctl enable --now mysqld   //启动mysql并设置开机自启
[root@mysql-galera2 ~]# netstat -nltp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name          
tcp6       0      0 :::3306                 :::*                    LISTEN      2234/mysqld         
      
//修改默认密码
[root@mysql-galera2 ~]# mysql_pass=`grep 'password is generated' /var/log/mysqld.log |awk '{print $NF}' |awk 'END{print}'` && echo $mysql_pass
Lf*C!p1w!V(w
[root@mysql-galera2 ~]# mysqladmin -u root -p${mysql_pass} password 'JiannLT@123'

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • mysql-galera3节点也是跟galera2节点一样的操作
  • 剩下的所有节点需要添加用户、添加集群信息、创建库、表等操作，参考上面的步骤即可

三、集群重启问题

1.单独重启一台服务器

单独重启galera2和galera3节点的mysqld服务能正常加入到集群中，重启galera1节点会发现galera1单独在一个新的集群中，galera2和galera3在另一个集群中，这是由于galera1的配置文件中wsrep_cluster_address='gcomm://'会使galera1新建一个集群
如下，当galera启动后，查看集群信息是正常的，但是当重启galera1节点的mysqld后，查看集群信息就不是正常的了
因此在重启galera1前，应该修改配置文件

[root@mysql-galera1 ~]# vim /my.cnf
wsrep_cluster_address='gcomm://192.168.221.131,192.168.221.132,192.168.221.133'
​//此时重启galera的mysqld服务将会重新进入集群中

  • 1
  • 2
  • 3

2.集群重启

当所有节点的mysqld都停止后或者服务器断电了需要重启galera集群，想要重启集群：

  • 需要先把开机自启的myqld停止掉，保证当前系统没有mysqld进程，服务器重启后会有mysqld进程，有4567端口，但是没有3306端口，因为开机自启的mysqld启动不成功
  • 再将/var/lib/mysql中的galera.cache、grastate.dat两个文件删除
  • 再将galera1中的/etc/my.cnf配置文件中的wsrep_cluster_address改成wsrep_cluster_address='gcomm://'
  • 依次启动galera1、galera2、galera3的mysqld服务即可使集群恢复正常
  • 最后所有节点的galera服务都正常后，再将wsrep_cluster_address改成wsrep_cluster_address='gcomm://192.168.221.128,192.168.221.129,192.168.221.130'，最后重启mysqld

否则，直接重启所有节点mysqld，会出现以下报错信息：

[root@localhost ~]# tailf /var/log/mysqld.log
​
2023-08-24T07:19:31.990200Z 0 [ERROR] WSREP: failed to open gcomm backend connection: 110: failed to reach primary view: 110 (Connection timed out)
         at gcomm/src/pc.cpp:connect():162
2023-08-24T07:19:31.990222Z 0 [ERROR] WSREP: gcs/src/gcs_core.cpp:gcs_core_open():206: Failed to open backend connection: -110 (Connection timed out)
2023-08-24T07:19:31.990282Z 0 [ERROR] WSREP: gcs/src/gcs.cpp:gcs_open():1379: Failed to open channel 'galera' at 'gcomm://192.168.221.128,192.168.221.129,192.168.221.130': -110 (Connection timed out)
2023-08-24T07:19:31.990295Z 0 [ERROR] WSREP: gcs connect failed: Connection timed out
2023-08-24T07:19:31.990299Z 0 [ERROR] WSREP: wsrep::connect(gcomm://192.168.221.128,192.168.221.129,192.168.221.130) failed: 7
2023-08-24T07:19:31.990301Z 0 [ERROR] Aborting

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/499259
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号