rabbitmq集群部署及配置

rabbitmq集群部署及配置

前言

消息中间件rabbitmq，一般以集群方式部署，主要提供消息的接受和发送，实现各微服务之间的消息异步。本篇将以rabbitmq+HA方式进行部署。

一、原理介绍

rabbitmq是依据erlang的分布式特性（RabbitMQ底层是通过Erlang架构来实现的，所以rabbitmqctl会启动Erlang节点，并基于Erlang节点来使用Erlang系统连接RabbitMQ节点，在连接过程中需要正确的Erlang Cookie和节点名称，Erlang节点通过交换Erlang Cookie以获得认证）来实现的，所以部署rabbitmq分布式集群时要先安装erlang，并把其中一个服务的cookie复制到另外的节点。

rabbitmq集群中，各个rabbitmq为对等节点，即每个节点均提供给客户端连接，进行消息的接收和发送。节点分为内存节点和磁盘节点，一般的，均应建立为磁盘节点，为了防止机器重启后的消息消失；

RabbitMQ的Cluster集群模式一般分为两种，普通模式和镜像模式。消息队列通过rabbitmq HA镜像队列进行消息队列实体复制。

普通模式下，以两个节点（rabbit01、rabbit02）为例来进行说明。对于Queue来说，消息实体只存在于其中一个节点rabbit01（或者rabbit02），rabbit01和rabbit02两个节点仅有相同的元数据，即队列的结构。当消息进入rabbit01节点的Queue后，consumer从rabbit02节点消费时，RabbitMQ会临时在rabbit01、rabbit02间进行消息传输，把A中的消息实体取出并经过B发送给consumer。所以consumer应尽量连接每一个节点，从中取消息。即对于同一个逻辑队列，要在多个节点建立物理Queue。否则无论consumer连rabbit01或rabbit02，出口总在rabbit01，会产生瓶颈。

镜像模式下，将需要消费的队列变为镜像队列，存在于多个节点，这样就可以实现RabbitMQ的HA高可用性。作用就是消息实体会主动在镜像节点之间实现同步，而不是像普通模式那样，在consumer消费数据时临时读取。缺点就是，集群内部的同步通讯会占用大量的网络带宽。

二、部署方案

本方案中是在多台机器之间部署rabbitmq的cluster，要求如下：这几个节点需要再同一个局域网内；这几个节点需要有相同的erlang cookie，否则不能正常通信，为了实现cookie内容一致，采用scp的方式进行。

1.环境介绍

2.部署过程

（1）分别在3台机器上配置/etc/hosts，如下

192.168.116.128 rabbit1
192.168.116.129 rabbit2
192.168.116.130 rabbit3
1
2
3

（2）分别在3台机器上安装erLang和rabbitmq

    安装erLang

    安装依赖包

yum install -y *epel* gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel
1

    编译安装

mkdir /app/erlang21.3
wget http://erlang.org/download/otp_src_21.3.tar.gz
tar xzf otp_src_21.3.tar.gz
cd otp_src_21.3
./configure --prefix=/app/erlang21.3 --without-javac
make && make install
1
2
3
4
5
6

    出现erl命令则说明安装成功；

    安装rabbitmq

    编译安装

wget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.8.8/rabbitmq-server-generic-unix-3.8.8.tar.xz
yum -y install xz
tar xvf rabbitmq-server-generic-unix-3.8.8.tar.xz
mkdir /app/rabbitmq
mv rabbitmq_server-3.8.8 /app/rabbitmq
添加环境
vim /etc/profile
export PATH=$PATH:/app/erlang21.3/bin:/app/rabbitmq/rabbitmq_server-3.8.8/sbin
source /etc/profile
1
2
3
4
5
6
7
8
9

导入rabbitmq的管理界面

rabbitmq-plugins enable rabbitmq_management
1

    设置erlang

找到erlang cookie文件的位置，官方在介绍集群的文档中提到过.erlang.cookie一般会存在这两个地址：第一个是$home/.erlang.cookie；第二个地方就是/var/lib/rabbitmq/.erlang.cookie。如果我们使用解压缩方式安装部署的rabbitmq，那么这个文件会在${home}目录下，也就是$home/.erlang.cookie。如果我们使用rpm等安装包方式进行安装的，那么这个文件会在/var/lib/rabbitmq目录下。

这里将 node1 的该文件复制到 node2、node3，注意这个文件的权限是 400（默认即是400），因此采用scp的方式只拷贝内容即可；

可以通过cat $home/.erlang.cookie来查看三台机器的cookie是否一致，设置erlang的目的是要保证集群内的cookie内容一致。

    使用-detached参数运行各节点

rabbitmqctl stop
rabbitmq-server -detached
1
2

然后可以通过rabbitmqctl cluster_status查看节点状态。PS：要先拷贝cookie到另外两台机器上，保证三台机器上的cookie是一致的，然后再启动服务。
由于guest这个用户,只能在本地访问,所以我们要新增一个用户并赋予权限:

添加用户并设置密码:

rabbitmqctl add_user  admin 123456
1

添加权限（使admin用户对虚拟主机“/” 具有所有权限）:

rabbitmqctl set_permissions -p "/" admin ".*" ".*" ".*"
1

修改用户角色（加入administrator用户组）

rabbitmqctl set_user_tags admin administrator
1

然后就可以远程访问了，然后可直接配置用户权限等信息。到此,就可以通过http://ip:15672 使用admin 123456 进行登陆了。

到这里的话，每个节点是作为单独的一台RabbitMQ存在的，也可以正常提供服务了

(3)组成集群

rabbitmq-server启动时，会一起启动节点和应用，它预先设置RabbitMQ应用为standalone模式。要将一个节点加入到现有的集群中，你需要停止这个应用，并将节点设置为原始状态。如果使用./rabbitmqctl stop，应用和节点都将被关闭。所以使用rabbitmqctl stop_app仅仅关闭应用。

将 rabbit2、rabbit3与 rabbit1 组成集群，这里以rabbit2为例

rabbit2# rabbitmqctl stop_app
rabbit2# rabbitmqctl join_cluster rabbit@rabbit1             ####这里集群的名字一定不要写错了
rabbit2# rabbitmqctl start_app
1
2
3

将rabbit3重复上述操作，也加入rabbit1的集群。

则此时 rabbit2 与 rabbit3 也会自动建立连接，集群配置完毕；（PS：如果要使用内存节点，则可以使用rabbit2 # rabbitmqctl join_cluster --ram rabbit@rabbit1加入集群）集群配置好后，可以在 RabbitMQ 任意节点上执行 rabbitmqctl cluster_status 来查看是否集群配置成功。

PS：另外一种查看集群是否成功的方式，在web页面上查看

（4）设置镜像队列策略

在任意一个节点上执行如下操作（这里在node1上执行）

首先，在web界面，登陆后，点击“Admin–Virtual Hosts（页面右侧）”，在打开的页面上的下方的“Add a new virtual host”处增加一个虚拟主机，同时给用户“admin”和“guest”均加上权限（在页面直接设置、点点点即可）；

然后，在linux中执行如下命令

rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'
1

则此时镜像队列设置成功。

PS：这里补充一些对于设置镜像队列策略的说明

rabbitmqctl set_policy [-p Vhost] Name Pattern Definition [Priority]
 
-p Vhost： 可选参数，针对指定vhost下的queue进行设置
Name: policy的名称
Pattern: queue的匹配模式(正则表达式)
Definition：镜像定义，包括三个部分ha-mode, ha-params, ha-sync-mode
    ha-mode:指明镜像队列的模式，有效值为 all/exactly/nodes
        all：表示在集群中所有的节点上进行镜像
        exactly：表示在指定个数的节点上进行镜像，节点的个数由ha-params指定
        nodes：表示在指定的节点上进行镜像，节点名称通过ha-params指定
    ha-params：ha-mode模式需要用到的参数
    ha-sync-mode：进行队列中消息的同步方式，有效值为automatic和manual
priority：可选参数，policy的优先级
1
2
3
4
5
6
7
8
9
10
11
12
13

将所有队列设置为镜像队列，即队列会被复制到各个节点，各个节点状态保持一直。完成这 6 个步骤后，RabbitMQ 高可用集群就已经搭建好了。

小结

过程有些繁琐，但细心总会让你看见光明！