当前位置:   article > 正文

MySQL NDB Cluste-分布式数据库集群搭建_mysql分布式集群搭建

mysql分布式集群搭建

1 概述

1.1 分布式数据库集群

Mysql cluster是适用于分布式计算环境的高可用、高冗余版本的mysql,其技术在分布式系统中为mysql数据提供了冗余特性,增强了安全性,使得单个mysql服务器故障不会对系统产生巨大的负面效应,系统的稳定性得到保障。Mysql cluster采用shared-nothing(无共享)架构,主要利用了NDB存储引擎来实现,NDB存储引擎是一个内存式存储引擎,要求数据必须全部加载到内存之中,具有自动分片(分区)功能。数据被自动分布在集群中的不同存储节点上,每个存储节点只保存完整数据的一个分片(fragment)。同时,用户可以设置同一份数据保存在多个不同的存储节点上,以保证单点故障不会造成数据丢失。

Mysql cluster需要一组计算机,用到mysql cluster安装包,在集群中的每台计算机上安装,只是每台计算机的角色可能是不一样的。Mysql cluster按照节点类型可以分为3类:管理节点(对其他节点进行管理)、数据节点(存放cluster中的数据,可以有多个)和sql节点(存放表结构,可以有多个)。Cluster中的某计算机可以是某一种节点,也可以是2种或3种节点的集合。这3种节点只是在逻辑上划分,所以他们不一定和物理计算机是一一对应的关系。多个节点之间可以分布在不同的地理位置,因此也是一个实现分布式数据库的方案。

管理节点(MGM):这类节点的作用是管理MySQL Cluster内的其他节点,如提供配置数据,并停止节点,运行备份等。由于这类节点负责管理其他节点的配置,应该在启动其他节点之前启动这类节点。MGM节点是用命令“ndb_mgmd”启动的。

数据节点(NDB):这类节点用于保存Cluster的数据,数据节点的数目与副本的数目相关,是片段的倍数。例如,对于两个副本,每个副本有两个片段,那么就有4个数据节点,没有必要设定过多的副本,在NDB中数据会尽量的保存在内存中。数据节点使用命令“ndbd”(单线程)或"ndbmtd"(多线程)启动的。

SQL节点:这是用来访问Cluster数据的节点,对于MySQL Cluster,客户端节点是使用NDB Cluster存储引擎的传统MySQL服务器。通常,SQL节点是使用命令“mysqld –ndbcluster”启动的,或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动。

Mysql cluster的数据更新使用读已提交隔离级别(read-committedisolation)来保证所有节点数据的一致性,使用两阶段提交机制(two-phasedcommit)保证所有节点都有相同的数据(如果任何一个写操作失败,则更新失败)。

Mysql cluster具体的同步复制步骤,如下所示:


1.Master执行提交语句时,事务被发送到slave,slave开始准备事务的提交。
2.每个slave都要准备事务,然后向master发送OK(或ABORT)消息,表明事务已经准备好(或者无法准备该事务)。
3.Master等待所有Slave发送OK或ABORT消息,如果Master收到所有 Slave的OK消息,它就会向所有Slave发送提交消息,告诉Slave提交该事务;如果 Master收到来自任何一个Slave的ABORT消息,它就向所有 Slave发送ABORT消息,告诉Slave去中止事务。
4.每个Slave等待来自Master的OK或ABORT消息。如果Slave收到提交请求,它们就会提交事务,并向Master发送事务已提交 的确认;如果Slave收到取消请求,它们就会撤销所有改变并释放所占有的资源,从而中止事务,然后向Masterv送事务已中止的确认。
5.Master收到来自所有Slave的确认后,就会报告该事务被提交(或中止),然后继续进行下一个事务处理。
由于同步复制一共需要4次消息传递,故mysql cluster的数据更新速度比单机mysql要慢。所以mysql cluster要求运行在千兆以上的局域网内,节点可以采用双网卡,节点组之间采用直连方式。


[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ssxz1mS8-1626160905618)(media/16104139227338/16225412812596.jpg)]

1.2 数据库的分布式和主从的区别

主从(Master-Slave): 主从机器上安装mysql community(普通版)就可以。

主从并没有像集群那样分三种节点,只有主和从两种,而且主从之间是通过mysql的replication方式来保证数据的一致性。相对mysql cluster的数据同步方式来讲是异步的。

主从复制的过程中,若从数据库中出现其中一条数据同步失败(即relay log中的语句有其中一条写操作语句执行失败),则后面的数据无法继续同步(relay log中后面的写操作语句无法继续执行下去),必须得解决掉或跳过这个执行失败的语句(需要人为去操作),这样就不能保证所有的从数据库的数据一致了。而mysql cluster则不然,若其中只要有一个节点的写操作失败,则其他所有节点针对这一同步均会更新失败,以保证所有节点的数据一致性。

2 环境说明

2.1 系统环境
服务器角色说明
192.168.17.131 数据节点(NDB)系统 centos 7 64位
192.168.17.132 数据节点(NDB)系统 centos 7 64位
192.168.17.133 SQL节点系统 centos 7 64位
192.168.17.134 SQL节点系统 centos 7 64位
192.168.17.130 管理节点(MGM)系统 centos 7 64位
2.2 软件环境

mysql cluster 集群版本:
mysql-cluster-gpl-7.6.15-linux-glibc2.12-x86_64.tar.gz
可到官网下载:https://dev.mysql.com/downloads/cluster/

3 安装MySQL Cluster

所有服务器均需执行执行以下操作。

  • 注意:在安装mysql cluster之前,必须得先检查该服务器上是否已安装了普通mysql,若安装了则需先把mysql删除干净,因为mysql cluster就包括了普通版mysql;

  • 在安装管理节点、数据节点和sql节点时,最好以root用户登录执行,否则有一些步骤需要用到sudo命令来执行。

#上传到服务器目录/usr/softwares并解压
tar -xzvf mysql-cluster-gpl-7.6.7-linux-glibc2.12-x86_64.tar.gz
 
#将解压的文件重命名为mysql,并放到/usr/local/目录下
mv mysql-cluster-gpl-7.6.7-linux-glibc2.12-x86_64 /usr/local/mysql
  • 1
  • 2
  • 3
  • 4
  • 5

4 配置安装管理节点

在服务器192.168.17.130上执行以下操作。

  • 注意,管理节点的防火墙端口开放,默认是1186。
4.1 拷贝命令
#将文件ndb_mgm和ndb_mgmd拷贝到/usr/local/bin/目录下
cp /usr/local/mysql/bin/ndb_mgm* /usr/local/bin/
 
#ndb_mgm,ndb客户端命令
#ndb_mgmd,ndb管理节点启动命令
#ndb_mgm是ndb_mgmd(MySQL Cluster Server)的客户端管理工具,通过它可以方便的检查Cluster的状态、启动备份、关闭Cluster等功能。
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
4.2 配置文件

创建数据库集群配置文件的目录
mkdir /var/lib/mysql-cluster

创建并编辑配置文件
vim /var/lib/mysql-cluster/config.ini

[ndbd default]
NoOfReplicas=1
DataMemory=200M
IndexMemory=64M
 
[ndb_mgmd]
NodeId=1
hostname=192.168.17.130
datadir=/var/lib/mysql-cluster/
 
[ndbd]
NodeId=2
hostname=192.168.17.131
datadir=/usr/local/mysql/data/
[ndbd]
NodeId=3
hostname=192.168.17.132
datadir=/usr/local/mysql/data/
 
[mysqld]
NodeId=4
hostname=192.168.17.133
[mysqld]
NodeId=5
hostname=192.168.17.134
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • [NDBD DEFAULT]:表示每个数据节点的默认配置,在每个节点的[NDBD]中不用再写这些选项,只能有一个。

  • NoOfReplicas:副本数量,数据节点数必须是副本数的整数倍。

  • [NDB_MGMD]:表示管理节点的配置,只有一个,默认的对其他节点的端口是1186,故服务器需要开放1186端口。

  • [NDBD]:表示每个数据节点的配置,可以有多个,分别写上不同数据节点的IP地址。

  • [MYSQLD]:表示SQL节点的配置,可以有多个,分别写上不同SQL节点的IP地址。

####4.3 启动管理节点
切换至/usr/local/bin下,执行以下命令

ndb_mgmd -f /var/lib/mysql-cluster/config.ini --initial
  • 1

ndb_mgmd是mysql cluster的管理服务器,后面的-f表示后面的参数是启动的参数配置文件。如果在启动后过了几天又添加了一个数据节点,这时修改了配置文件启动时就必须加上–initial参数,不然添加的节点不会作用在mysql cluster中。
###5 配置安装数据节点
分别在服务器192.168.17.131和192.168.17.132上执行以下操作。

注意,数据节点的端口开放问题,最好把防火墙关闭,虽然之前版本的默认端口号时2202,但是好像时5.1之后的端口号就没有限制(看哪个端口空闲就用哪个端口),即与sql节点通信的端口号会随机变换。若没有关闭防火墙,后面在管理节点查看集群状态的时候,可能会出现mysql节点老是连接不上的问题。
####5.1 配置my.cnf文件
mysql服务启动时会默认加载/etc/my.cnf作为其配置文件,故需要修改/etc/my.cnf配置文件。

[mysqld]
datadir=/usr/local/mysql/data
basedir=/usr/local/mysql
character_set_server=utf8
ndb-connectstring=192.168.17.130

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
 
[mysql_cluster]
ndb-connectstring=192.168.17.130
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
5.2 安装mysql数据库
5.2.1 更改权限
#分别添加mysql组和mysql用户
groupadd mysql
useradd mysql -g mysql
#进入mysql目录
cd /usr/local/mysql/
#把mysql的目录设置成所有者为root
chown -R root .
#创建data目录,并把data目录设置所有者为mysql
mkdir data
chown -R mysql data
#把mysql的目录改成所属组为mysql
chgrp -R mysql .
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
5.2.2 执行安装脚本

初始化数据库(这里要注意,如果你安装的版本和我的不同,数据库初始化的命令使不同的,很多之前的版本会使用:scripts/mysql_install_db --user=mysql来初始化,这个已经被mysql在新的版本中废弃了,所以需要使用下面的命令安装,如果你需要安装别的版本请参考mysql官网的对应版本的安装命令。)

#执行安装脚本,初始化数据库
./bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/
#注意其中用户为mysql的名称需要跟配置文件my.cnf中的user=mysql相同
#另外,这里一定要把--basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/ 加上,
#否则会最后启动MySQL服务的时候会出现"table mysql.plugin doesn't exist","Can\'t open the mysql.plugin table. Please run mysql_upgrade to create it."错误,以及"PID"获取失败的错误
  • 1
  • 2
  • 3
  • 4
  • 5

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X7fBIBLr-1626160905624)(media/16104139227338/16225964050961.jpg)]

5.2.3 设置mysql服务开机自启动
//加入到service服务
cp support-files/mysql.server /etc/init.d/mysqld
chmod +x /etc/init.d/mysqld
//加入到开机自启动列表
chkconfig --add mysqld
  • 1
  • 2
  • 3
  • 4
  • 5

查询是否启动成功

chkconfig --list
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aDkZjSZ3-1626160905627)(media/16104139227338/16225964660295.jpg)]

5.2.4 修改数据库密码
//启动数据库
[root@localhost bin]# service mysqld start
 
//进入客户端
[root@localhost bin]# ./mysql -uroot -p
Enter password:这里输入之前的临时密码
 
//修改密码
mysql> set password=password('新密码');
 
//注意此密码必须要与其他服务器上的数据库设置的密码相同
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

#####5.3 启动数据节点

cd /usr/local/mysql
./bin/ndbd --initial
 
#非第一次启动,命令如下
./bin/ndbd
  • 1
  • 2
  • 3
  • 4
  • 5

安装后第一次启动数据节点时要加上–initial参数。在以后的启动过程中,则是不能添加该参数的,否则ndbd程序会清除在之前建立的所有用于恢复的数据文件和日志文件。
###6 配置安装sql节点
分别在服务器192.168.17.133和192.168.17.134上执行以下操作。

####6.1 配置my.cnf文件
mysql服务启动时会默认加载/etc/my.cnf作为其配置文件,故需要修改/etc/my.cnf配置文件。

[mysqld]
ndbcluster
datadir=/usr/local/mysql/data
basedir=/usr/local/mysql
character_set_server=utf8
default-storage-engine=ndbcluster
port=3306
 
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
 
[mysql_cluster]
ndb-connectstring=192.168.17.130:1186
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

default-storage-engine,数据库建表时的默认引擎为ndbcluster,否则数据会同步失败。
####6.2 安装mysql数据库
详见 5.2 安装mysql数据库
####6.3 启动sql节点
其实就是启动mysql服务。

service mysqld start
  • 1

7 测试

7.1 用管理节点查看
ndb_mgm
 
ndb_mgm> show
Cluster Configuration
---------------------
[ndbd(NDB)]	2 node(s)
id=2	@192.168.17.131  (mysql-5.7.23 ndb-7.6.7, Nodegroup: 0, *)
id=3	@192.168.17.132  (mysql-5.7.23 ndb-7.6.7, Nodegroup: 1)
 
[ndb_mgmd(MGM)]	1 node(s)
id=1	@192.168.17.130  (mysql-5.7.23 ndb-7.6.7)
 
[mysqld(API)]	2 node(s)
id=4	@192.168.17.133  (mysql-5.7.23 ndb-7.6.7)
id=5	@192.168.17.134  (mysql-5.7.23 ndb-7.6.7)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

证明,mysql cluster启动成功!
注意:如果在此步骤提示如下:

ndb_mgm> show
Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)]	2 node(s)
id=2	@192.168.47.136  (mysql-8.0.25 ndb-8.0.25, starting, Nodegroup: 0)
id=3	@192.168.47.137  (mysql-8.0.25 ndb-8.0.25, starting, Nodegroup: 0)
 
[ndb_mgmd(MGM)]	1 node(s)
id=1	@192.168.47.135  (mysql-8.0.25 ndb-8.0.25)
 
[mysqld(API)]	2 node(s)
id=4 (not connected, accepting connect from 192.168.47.138)
id=5 (not connected, accepting connect from 192.168.47.139)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

可能是由于端口没开放导致,此时应该关闭防火墙。或者开放对应端口;命令如下:

开放端口
firewall-cmd --zone=public --add-port=5672/tcp --permanent   # 开放5672端口

firewall-cmd --zone=public --remove-port=5672/tcp --permanent  #关闭5672端口

firewall-cmd --reload   # 配置立即生效

查看防火墙所有开放的端口
firewall-cmd --zone=public -- list-ports

关闭防火墙
如果要开放的端口太多,嫌麻烦,可以关闭防火墙,安全性自行评估
systemctl stop firewalld.service

查看防火墙状态
firewall-cmd --state

查看监听的端口

netstat -lnpt
图1
PS:centos7默认没有 netstat 命令,需要安装 net-tools 工具,yum install -y net-tools

检查端口被哪个进程占用
netstat -lnpt |grep 5672
图2

查看进程的详细信息

ps 6832

图3

中止进程

kill -9 6832
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36

图1
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-96xKR5cY-1626160905639)(media/16104139227338/16225974145120.jpg)]

图2
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FgV2s6J8-1626160905645)(media/16104139227338/16225974438639.jpg)]

图3
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fWfGBe9a-1626160905647)(media/16104139227338/16225974650066.jpg)]

如果都正常,则重启数据库即可解决此问题

####7.2 测试数据
连接任何一个sql节点,在此sql节点上操作,创建数据库、创建表结构、增删改等操作,在其他的sql节点上也会同步这些操作,使数据保持一致。

(1)这里在sql节点192.168.17.134上操作。

#登陆数据库
cd /usr/local/mysql
./bin/mysql -uroot -p
Enter password:输入密码
 
#创建数据库mytest
mysql> create database mytest;
 
#切换到mytest数据库
mysql> use mytest;
 
#创建表结构sys_myfirst
mysql> create table sys_myfirst(id varchar(36) primary key, name varchar(100), memo varchar(255));
 
#在sys_myfirst中添加几条数据
mysql> insert into sys_myfirst(id, name, memo) values('1','test1','hello world!');
mysql> insert into sys_myfirst(id, name, memo) values('2','test2','hello world haha!');
mysql> insert into sys_myfirst(id, name, memo) values('3','test3','hello world hehe!');
 
#查看数据
mysql> select * from sys_myfirst;
+----+-------+-------------------+
| id | name  | memo              |
+----+-------+-------------------+
| 2  | test2 | hello world haha! |
| 1  | test1 | hello world!      |
| 3  | test3 | hello world hehe! |
+----+-------+-------------------+
3 rows in set (0.00 sec)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29

测试成功!这里每次查找出来的数据顺序不一样,其原因不难想到是,查找的数据是两个数据库来回切换导致的。

###8 启动和停止集群
启动顺序:管理节点—数据节点—sql节点

停止顺序:管理节点(会同时停止管理节点和数据节点)—sql节点

以上是看网上的人都是这么说的,但是根据我的实践,其实sql节点可以一直保持启动状态(即使管理节点停止了也没关系,下次启动的时候会自动连接上此sql节点),只要第一次启动的时候遵循上面的顺序即可。

####8.1 停止管理节点
停止管理节点的同时,会把其管理的所有数据节点也停止掉。

#第一种方法
ndb_mgm -e shutdown
 
#第二种方法
ndb_mgm
ndb_mgm> shutdown;
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
8.2 停止sql节点

其实就是停止mysql服务。

service mysqld stop
  • 1
9 总结

到这里,mysql cluster的简单搭建就完成了。不知读者有没发现这么一个问题,因为我这里把管理节点、数据节点和sql节点都是分开的,所以在部署数据节点的时候,其实并不用去安装mysql数据库和开启mysql服务都可以。然而,这里的问题是,怎么确定在sql节点上操作的数据并不是sql节点上的数据,而是数据节点上的数据呢?

之前看到了很多网上的资料,都是自以为的数据就是存在数据节点,但是我到数据节点上找那些我曾在sql节点上操作的数据,均没有找到,反而是在sql节点上找到了那些数据库(但是没有表数据)。因此,我就在想数据库集群的数据到底是存在哪里的呢?

在网上找了很多资料,终于不负有心人,让我找到了,数据确实是存在数据节点上的,原来可以在数据节点上通过lsof -c ndb命令(以root身份运行)来找出包含ndb进程所有打开的文件,发现其真正存储数据的位置在mysql/data/ndb_3_fs/下面(3数字是config.ini的节点id),各个文件夹中的文件是以16.7M为单位存储的,临时文件达到16.7M后就另起一个,如图:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bGUGzajq-1626160905648)(media/16104139227338/16225969082019.jpg)]

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/很楠不爱3/article/detail/499262
推荐阅读
相关标签
  

闽ICP备14008679号