论一种简单高效实现mysql分布式id自增并支持分库分表的方法_shardingcore mysql分表 如何处理自增id

论一种简单高效实现mysql分布式id自增并支持分库分表的方法

                                                                                                                     李万鸿-2020-2-28

 

   数据库是IT系统的瓶颈所在，提高数据库性能和存储容量，实现分布式高并发高性能海量数据安全存储使用，是一个非常迫切的现实问题。主键Id是数据库的关键，主键使用数字比使用字符要快很多且省存储空间，Mysql的自增主键非常棒，只要简单加以运用，就可以解决分布式id自增且支持分库分表，巧妙运用mysql自身的事务管理功能，而不用采用其他的软件或方法非常复杂地解决，相比之下，这样效率更高，成本更低，下面详细论述。

一．分布式主键的正确生成

   分布式应用情况下，存在一个用户一次插入多条数据，以提高速度，还存在多个用户对这个数据库进行一或多条数据插入，也即这个数据库的多个连接同时对数据库进行多个insert，如果不做处理，id会错误，这就需要采用一个办法进行解决。首先，插入数据库时，需要获取reis的自增id：

stringRedisTemplate.opsForValue().increment(REDIS_ORDER_NUMBER_KEY, 1L);

 

Mysql的int id支持42亿数据，足以满足业务需求，数据量低于1亿基本上就要采取措施，保证数据库的性能。

二、mysql集群的使用

使用上面的方法生成递增数字id，可以轻松实现mysql集群分库分表， 方法如下：

具体实现为：

我们设置获取ID步长为l，一共有n个表分配id。

初始化后，n个表中的id值分别为0，l, 2l,3l…

当应用从任意一个表获取ID，这个表中的ID会在原ID值上增加nl。

举例说明，步长为100，共4个id表

初始化后，4个表中的值分别为, 1:0, 2:100, 3:200, 4:300

假设应用从表2获取了id，那么四个表的值变为，1:0, 2:500, 3:200, 4:300

这样一来有如下几个好处：

实现了全局唯一ID。

不影响业务数据库的扩展。

获取ID有容灾，单个表无法访问不影响全局。如果主从集群，可以解决此问题。

这样写数据库时，不用做任何其他处理，直接写，由于有多台mysql服务器，需要路由选择，实现负载均衡，方法简单：数据库号=Random（）%n。

读取时，需要做个简单的id计算，已找到保存这个id的数据库，方法如下：

数据库号=Id%n*l/100

如表2的新插入数据的id=500，500对4*100=400取余=100,100/100=1，即为第二台数据库。然后使用多数据源的办法，选中即可。

这个方法支持mysql线性扩容，直接增加数据库服务器，增加办法很简单，写入一样，记住扩容前的maxID，读取时id计算公式为：

If（id<=maxId）{

#n=扩容前的mysql服务器台数

数据库号=Id%n*l/100

}else

{

数据库号=Id%（n+1）*l/100

}

以后再扩容，如法炮制，记住maxId是关键。

这样就可以轻松扩容，增加数据库服务器，支持业务的增长，存储更多的数据。这个办法支持多个主mysql的写，还可以实现主从分离，使用读写分离来提高性能。

 三、mysql集群主从、读写分离

  一主带多从，使用mysql的binlog实现主从同步，多个主mysql之间不复制，充分使用存储，主从同步，保证数据冗余，且便于读写分离，提高性能。应用写数据的方法不变，读数据时需要选择对应主数据库的从数据库地址源，从而使系统性能提升，数据冗余备份，更安全有效。

1.架构图

转存失败重新上传取消

MySQL读写分离是指让master处理写操作，让slave处理读操作，非常适用于读操作量比较大的场景，可减轻master的压力。
使用mysql-proxy实现mysql的读写分离，mysql-proxy实际上是作为后端mysql主从服务器的代理，它直接接受客户端的请求，对SQL语句进行分析，判断出是读操作还是写操作，然后分发至对应的mysql服务器上。

环境准备：

三台主机：
192.168.20.10 master
192.168.20.11 slave
192.168.20.12 proxy

第一：192.168.20.10、11两台mysql搭建主从复制架构。
第二、在proxy机器上安装配置mysql-proxy，实现master/slave架构读写分离。
1、下载mysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz
2、安装mysql-proxy
[root@proxy install]# tar zxvf mysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz
mysql-proxy-0.8.5-linux-el6-x86-64bit/
mysql-proxy-0.8.5-linux-el6-x86-64bit/bin/
......
[root@proxy install]# mv mysql-proxy-0.8.5-linux-el6-x86-64bit /usr/local/
[root@proxy local]# ln -s mysql-proxy-0.8.5-linux-el6-x86-64bit/ mysql-proxy
[root@proxy local]# useradd -r mysql-proxy
[root@proxy local]# id mysql-proxy
uid=493(mysql-proxy) gid=486(mysql-proxy) groups=486(mysql-proxy)

3、添加mysql-proxy自启动
[root@proxy local]# cd /etc/init.d/
[root@proxy init.d]# vi mysql-proxy

!/bin/bash

mysql-proxy This script starts and stops the mysql-proxy daemon

chkconfig: - 78 30

processname: mysql-proxy

description: mysql-proxy is a proxy daemon for mysql

Source function library.

. /etc/rc.d/init.d/functions
prog="/usr/local/mysql-proxy/bin/mysql-proxy"

Source networking configuration.

if [ -f /etc/sysconfig/network ]; then
. /etc/sysconfig/network
fi

Check that networking is up.

[ ${NETWORKING} = "no" ] && exit 0

Set default mysql-proxy configuration.

ADMIN_USER="admin"
ADMIN_PASSWD="admin"
ADMIN_LUA_SCRIPT="/usr/local/mysql-proxy/share/doc/mysql-proxy/admin.lua"
PROXY_OPTIONS="--daemon"
PROXY_PID=/var/run/mysql-proxy.pid
PROXY_USER="mysql-proxy"

Source mysql-proxy configuration.

if [ -f /etc/sysconfig/mysql-proxy ]; then
. /etc/sysconfig/mysql-proxy
fi
RETVAL=0
start() {
echo -n prog: "
daemon PROXY_OPTIONS --pid-file= PROXY_ADDRESS" --user= ADMIN_USER" --admin-lua-script=" ADMIN_PASSWORD"
RETVAL= RETVAL -eq 0 ]; then
touch /var/lock/subsys/mysql-proxy
fi
}
stop() {
echo -n prog: "
killproc -p prog
RETVAL= RETVAL -eq 0 ]; then
rm -f /var/lock/subsys/mysql-proxy
rm -f $PROXY_PID
fi
}

See how we were called.

case " PROXY_PIDFILE PROXY_PID 0 {start|stop|restart|reload|status|condrestart|try-restart}"
RETVAL=1
;;
esac
exit $RETVAL

[root@proxy init.d]# chmod +x /etc/init.d/mysql-proxy
[root@proxy init.d]# chkconfig --add mysql-proxy
[root@proxy init.d]# vim /etc/sysconfig/mysql-proxy

Options for mysql-proxy

ADMIN_USER="admin"
ADMIN_PASSWORD="admin"
ADMIN_ADDRESS=""
ADMIN_LUA_SCRIPT="/usr/local/mysql-proxy/share/doc/mysql-proxy/admin.lua"
PROXY_ADDRESS=""
PROXY_USER="mysql-proxy"
PROXY_OPTIONS="--daemon --log-level=info --log-use-syslog --plugins=proxy --plugins=admin --proxy-backend-addresses=192.168.20.10:3306 --proxy-read-only-backend-addresses=192.168.20.11:3306 --proxy-lua-script=/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua"

[root@proxy init.d]# vim /usr/local/mysql-proxy/share/doc/mysql-proxy/admin.lua
function set_error(errmsg)
proxy.response = {
type = proxy.MYSQLD_PACKET_ERR,
errmsg = errmsg or "error"
}
end
function read_query(packet)
if packet:byte() ~= proxy.COM_QUERY then
set_error("[admin] we only handle text-based queries (COM_QUERY)")
return proxy.PROXY_SEND_RESULT
end
local query = packet:sub(2)
local rows = { }
local fields = { }
if query:lower() == "select * from backends" then
fields = {
{ name = "backend_ndx",
type = proxy.MYSQL_TYPE_LONG },
{ name = "address",
type = proxy.MYSQL_TYPE_STRING },
{ name = "state",
type = proxy.MYSQL_TYPE_STRING },
{ name = "type",
type = proxy.MYSQL_TYPE_STRING },
{ name = "uuid",
type = proxy.MYSQL_TYPE_STRING },
{ name = "connected_clients",
type = proxy.MYSQL_TYPE_LONG },
}

for i = 1, #proxy.global.backends do
local states = {
"unknown",
"up",
"down"
}
local types = {
"unknown",
"rw",
"ro"
}
local b = proxy.global.backends[i]

rows[#rows + 1] = {
i,
b.dst.name, -- configured backend address
states[b.state + 1], -- the C-id is pushed down starting at 0
types[b.type + 1], -- the C-id is pushed down starting at 0
b.uuid, -- the MySQL Server's UUID if it is managed
b.connected_clients -- currently connected clients
}
end
elseif query:lower() == "select * from help" then
fields = {
{ name = "command",
type = proxy.MYSQL_TYPE_STRING },
{ name = "description",
type = proxy.MYSQL_TYPE_STRING },
}
rows[#rows + 1] = { "SELECT * FROM help", "shows this help" }
rows[#rows + 1] = { "SELECT * FROM backends", "lists the backends and their state" }
else
set_error("use 'SELECT * FROM help' to see the supported commands")
return proxy.PROXY_SEND_RESULT
end

proxy.response = {
type = proxy.MYSQLD_PACKET_OK,
resultset = {
fields = fields,
rows = rows
}
}
return proxy.PROXY_SEND_RESULT
end

4、启动proxy服务：
[root@proxy bin]# service mysql-proxy start
Starting /usr/local/mysql-proxy/bin/mysql-proxy: [ OK ]

[root@proxy bin]# ss -nalp|grep mysql
LISTEN 0 128 *:4041 : users:(("mysql-proxy",28520,11))
LISTEN 0 128 *:3306 : users:(("mysql-proxy",28520,10))

[root@proxy bin]# mysql -uadmin -padmin -h192.168.20.12 --port=4041
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.0.99-agent-admin
Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> SELECT * FROM backends;
+-------------+-----------------+---------+------+------+-------------------+
| backend_ndx | address | state | type | uuid | connected_clients |
+-------------+-----------------+---------+------+------+-------------------+
| 1 | 192.168.20.10:3306 | unknown | rw | NULL | 0 |
| 2 | 192.168.20.11:3306 | unknown | ro | NULL | 0 |
+-------------+-----------------+---------+------+------+-------------------+
2 rows in set (0.00 sec)
配置完成。

第三、测试
[root@master ~]# su – mysql
-bash-4.1$ mysql -uroot -p12345
Warning: Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 22
Server version: 5.6.37-log MySQL Community Server (GPL)
Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql>
mysql>
mysql> GRANT ALL ON . TO 'alex'@'192.168.20.%' IDENTIFIED BY '123456';
Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)

mysql>

主从机器上：
tcpdump -i eth0 -nn -XX ip dst 192.168.20.10 and tcp dst port 3306
tcpdump -i eth0 -nn -XX ip dst 192.168.20.11 and tcp dst port 3306
进行抓包观察。

PROXY机器上操作：
[root@proxy bin]# mysql -ualex -p123456 -h192.168.20.12 --port=3306 （这个地方连接3306）
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 26
Server version: 5.6.37-log MySQL Community Server (GPL)
Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>create database alex;
mysql>use mysql;
mysql>select * from user \G

[root@proxy ~]# mysql -uadmin -padmin -h192.168.20.12 --port=4041
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.0.99-agent-admin

Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> SELECT * FROM backends;
+-------------+-----------------+-------+------+------+-------------------+
| backend_ndx | address | state | type | uuid | connected_clients |
+-------------+-----------------+-------+------+------+-------------------+
| 1 | 192.168.20.10:3306 | up | rw | NULL | 0 |
| 2 | 192.168.20.11:3306 | up | ro | NULL | 0 |
+-------------+-----------------+-------+------+------+-------------------+
2 rows in set (0.00 sec)

成功实现读写分离。

     总之，mysql开源且功能强大，作为业界使用量最广的数据库，采用这个办法简单巧妙地实现了采用自增id对数据库的分布式使用，轻松支持分库分表，线性扩容，还支持读写分离，而方法简单易行，把解决此问题的成本和复杂度降到0，是一个值得使用的好办法，必将为广大IT项目和企业带来益处。