devbox
知新_RL
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

中间件之数据库中间件ShardingShpere_数据库读写中间件

作者：知新_RL | 2024-07-30 06:10:43

赞

踩

数据库读写中间件

一、概述

1.1高性能架构模式

互联网业务兴起之后，海量用户加上海量数据的特点，单个数据库服务器已经难以满足业务需要，必须考虑数据库集群的方式来提升性能。高性能数据库集群的第一种方式是“读写分离”，第二种方式是“数据库分片”。

读写分离架构

**读写分离原理：**读写分离的基本原理是将数据库读写操作分散到不同的节点上，下面是其基本架构图：

读写分离的基本实现：

  • 主库负责处理事务性的增删改操作，从库负责处理查询操作，能够有效的避免由数据更新导致的行锁，使得整个系统的查询性能得到极大的改善。
  • 读写分离是根据 SQL 语义的分析，将读操作和写操作分别路由至主库与从库。
  • 通过一主多从的配置方式，可以将查询请求均匀的分散到多个数据副本，能够进一步的提升系统的处理能力。
  • 使用多主多从的方式，不但能够提升系统的吞吐量，还能够提升系统的可用性，可以达到在任何一个数据库宕机，甚至磁盘物理损坏的情况下仍然不影响系统的正常运行。

数据库分片架构

读写分离的问题：

读写分离分散了数据库读写操作的压力，但没有分散存储压力，为了满足业务数据存储的需求，就需要将存储分散到多台数据库服务器上。

数据分片：

将存放在单一数据库中的数据分散地存放至多个数据库或表中，以达到提升性能瓶颈以及可用性的效果。 数据分片的有效手段是对关系型数据库进行分库和分表。数据分片的拆分方式又分为垂直分片和水平分片。

垂直分片

垂直分库：

按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。 在拆分之前，一个数据库由多个数据表构成，每个表对应着不同的业务。而拆分之后，则是按照业务将表进行归类，分布到不同的数据库中，从而将压力分散至不同的数据库。

垂直拆分可以缓解数据量和访问量带来的问题，但无法根治。如果垂直拆分之后，表中的数据量依然超过单节点所能承载的阈值，则需要水平分片来进一步处理。

垂直分表：

垂直分表适合将表中某些不常用的列，或者是占了大量空间的列拆分出去。

假设我们是一个婚恋网站，用户在筛选其他用户的时候，主要是用 age 和 sex 两个字段进行查询，而 nickname 和 description 两个字段主要用于展示，一般不会在业务查询中用到。description 本身又比较长，因此我们可以将这两个字段独立到另外一张表中，这样在查询 age 和 sex 时，就能带来一定的性能提升。

垂直分表引入的复杂性主要体现在表操作的数量要增加。例如，原来只要一次查询就可以获取 name、age、sex、nickname、description，现在需要两次查询，一次查询获取 name、age、sex，另外一次查询获取 nickname、description。

水平分表适合表行数特别大的表，水平分表属于水平分片

水平分片

水平分片又称为横向拆分。 相对于垂直分片，它不再将数据根据业务逻辑分类，而是通过某个字段（或某几个字段），根据某种规则将数据分散至多个库或表中，每个分片仅包含数据的一部分。 例如：根据主键分片，偶数主键的记录放入 0 库（或表），奇数主键的记录放入 1 库（或表），如下图所示。

单表进行切分后，是否将多个表分散在不同的数据库服务器中，可以根据实际的切分效果来确定。

  • **水平分表：**单表切分为多表后，新的表即使在同一个数据库服务器中，也可能带来可观的性能提升，如果性能能够满足业务要求，可以不拆分到多台数据库服务器，毕竟业务分库也会引入很多复杂性；

  • **水平分库：**如果单表拆分为多表后，单台服务器依然无法满足性能要求，那就需要将多个表分散在不同的数据库服务器中。

读写分离和数据分片架构

下图展现了将数据分片与读写分离一同使用时，应用程序与数据库集群之间的复杂拓扑关系。

1.2实现方式

读写分离和数据分片具体的实现方式一般有两种： 程序代码封装和中间件封装。

程序代码封装

程序代码封装指在代码中抽象一个数据访问层（或中间层封装），实现读写操作分离和数据库服务器连接的管理。

**其基本架构是：**以读写分离为例

中间件封装

中间件封装指的是独立一套系统出来，实现读写操作分离和数据库服务器连接的管理。对于业务服务器来说，访问中间件和访问数据库没有区别，在业务服务器看来，中间件就是一个数据库服务器。

**基本架构是：**以读写分离为例

常用解决方案

  • Apache ShardingSphere（程序级别和中间件级别）
  • MyCat（数据库中间件）

1.3市面上常见的分库分表工具

Cobar

Cobar 是阿里巴巴开源的一款基于MySQL的分布式数据库中间件，提供了分库分表、读写分离和事务管理等功能。它采用轮询算法和哈希算法来进行数据分片，支持分布式分表，但是不支持单库分多表。

它以 Proxy 方式提供服务，在阿里内部被广泛使用已开源，配置比较容易，无需依赖其他东西，只需要有Java环境即可。兼容市面上几乎所有的 ORM 框架，仅支持 MySQL 数据库，且事务支持方面比较麻烦。

MyCAT

Mycat 是社区爱好者在阿里 Cobar 基础上进行二次开发的，也是一款比较经典的分库分表工具。它以 Proxy 方式提供服务，支持分库分表、读写分离、SQL路由、数据分片等功能。

兼容市面上几乎所有的 ORM 框架，包括 Hibernate、MyBatis和 JPA等都兼容，不过，美中不足的是它仅支持 MySQL数据库，目前社区的活跃度相对较低。

TDDL

TDDL 是阿里巴巴集团开源的一款分库分表解决方案，可以自动将SQL路由到相应的库表上。它采用了垂直切分和水平切分两种方式来进行分表分库，并且支持多数据源和读写分离功能。

TDDL 是基于 Java 开发的，支持 MySQL、Oracle 和 SQL Server 数据库，并且可以与市面上 Hibernate、MyBatis等 ORM 框架集成。

不过，TDDL仅支持一些阿里巴巴内部的工具和框架的集成，对于外部公司来说可能相对有些局限性。同时，其文档和社区活跃度相比 ShardingSphere 来说稍显不足。

Mysql Fabric

MySQL Fabric是 MySQL 官方提供的一款分库分表解决方案，同时也支持 MySQL其他功能，如高可用、负载均衡等。它采用了管理节点和代理节点的架构，其中管理节点负责实时管理分片信息，代理节点则负责接收并处理客户端的读写请求。

它仅支持 MySQL 数据库，并且可以与市面上 Hibernate、MyBatis 等 ORM 框架集成。MySQL Fabric 的文档相对来说比较简略，而且由于是官方提供的解决方案，其社区活跃度也相对较低。

ShardingSphere

ShardingSphere 成员中的 sharding-jdbc 以 JAR 包的形式下提供分库分表、读写分离、分布式事务等功能，但仅支持 Java 应用，在应用扩展上存在局限性。

因此，ShardingSphere 推出了独立的中间件 sharding-proxy，它基于 MySQL协议实现了透明的分片和多数据源功能，支持各种语言和框架的应用程序使用，对接的应用程序几乎无需更改代码，分库分表配置可在代理服务中进行管理。

除了支持 MySQL，ShardingSphere还可以支持 PostgreSQL、SQLServer、Oracle等多种主流数据库，并且可以很好地与 Hibernate、MyBatis、JPA等 ORM 框架集成。重要的是，ShardingSphere的开源社区非常活跃。

如果在使用中出现问题，用户可以在 GitHub 上提交PR并得到快速响应和解决，这为用户提供了足够的安全感。

产品比较

通过对上述的 5 个分库分表工具进行比较，我们不难发现，就整体性能、功能丰富度以及社区支持等方面来看，ShardingSphere 在众多产品中优势还是比较突出的。下边用各个产品的主要指标整理了一个表格，看着更加直观一点。

1.4ShardingSphere概述

官网：Apache ShardingSphere

文档：概览 :: ShardingSphere

Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar（规划中）这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。 它们均提供标准化的数据水平扩展、分布式事务和分布式治理等功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用场景。

Apache ShardingSphere 旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并非实现一个全新的关系型数据库。 关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未来也难于撼动，我们更加注重在原有基础上提供增量，而非颠覆。

Apache ShardingSphere 5.x 版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式进行扩展。 目前，数据分片、读写分离、数据加密、影子库压测等功能，以及 MySQL、PostgreSQL、SQLServer、Oracle 等 SQL 与协议的支持，均通过插件的方式织入项目。 开发者能够像使用积木一样定制属于自己的独特系统。Apache ShardingSphere 目前已提供数十个 SPI 作为系统的扩展点，仍在不断增加中。

ShardingSphere-JDBC

程序代码封装**

定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。 它使用客户端直连数据库，以 jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。

ShardingSphere-Proxy

中间件封装

定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。 目前提供 MySQL 和 PostgreSQL版本，它可以使用任何兼容 MySQL/PostgreSQL 协议的访问客户端（如：MySQL Command Client, MySQL Workbench, Navicat 等）操作数据，对 DBA 更加友好。

三个组件的比较

ShardingSphere-JDBC 采用无中心化架构，适用于 Java 开发的高性能的轻量级 OLTP（连接事务处理） 应用；ShardingSphere-Proxy 提供静态入口以及异构语言的支持，适用于 OLAP（连接数据分析） 应用以及对分片数据库进行管理和运维的场景。

Apache ShardingSphere 是多接入端共同组成的生态圈。 通过混合使用 ShardingSphere-JDBC 和 ShardingSphere-Proxy，并采用同一注册中心统一配置分片策略，能够灵活的搭建适用于各种场景的应用系统，使得架构师更加自由地调整适合与当前业务的最佳系统架构。

1.4ShardingShpere的功能清单

  • 功能列表

    • 数据分片
    • 分库 & 分表
    • 读写分离
    • 分片策略定制化
    • 无中心化分布式主键

  • 分布式事务

    • 标准化事务接口
    • XA 强一致事务
    • 柔性事务
    • 数据库治理

  • 分布式治理

    • 弹性伸缩
    • 可视化链路追踪
    • 数据加密

1.5MySQL主从同步

主从复制（也称 AB 复制）允许将来自一个MySQL数据库服务器（主服务器）的数据复制到一个或多个MySQL数据库服务器（从服务器）。

复制是异步的 从站不需要永久连接以接收来自主站的更新。

MySQL中复制的优点包括：

  • 横向扩展解决方案 - 在多个从站之间分配负载以提高性能。在此环境中，所有写入和更新都必须在主服务器上进行。但是，读取可以在一个或多个从设备上进行。该模型可以提高写入性能（因为主设备专用于更新），同时显着提高了越来越多的从设备的读取速度。
  • 数据安全性 - 因为数据被复制到从站，并且从站可以暂停复制过程，所以可以在从站上运行备份服务而不会破坏相应的主数据。
  • 分析 - 可以在主服务器上创建实时数据，而信息分析可以在从服务器上进行，而不会影响主服务器的性能。
  • 远程数据分发 - 您可以使用复制为远程站点创建数据的本地副本，而无需永久访问主服务器。

MySQL主从同步原理

基本原理：**

slave会从master读取binlog来进行数据同步

具体步骤：**

  • step1：master将数据改变记录到二进制日志（binary log）中。
  • step2： 当slave上执行 start slave 命令之后，slave会创建一个 IO 线程用来连接master，请求master中的binlog。
  • step3：当slave连接master时，master会创建一个 log dump 线程，用于发送 binlog 的内容。在读取 binlog 的内容的操作中，会对主节点上的 binlog 加锁，当读取完成并发送给从服务器后解锁。
  • step4：IO 线程接收主节点 binlog dump 进程发来的更新之后，保存到 中继日志（relay log） 中。
  • step5：slave的SQL线程，读取relay log日志，并解析成具体操作，从而实现主从操作一致，最终数据一致。

一主多从配置

服务器规划：使用docker方式创建，主从服务器IP一致，端口号不一致

  • 主服务器：容器名atguigu-mysql-master，端口3306
  • 从服务器：容器名atguigu-mysql-slave1，端口3307
  • 从服务器：容器名atguigu-mysql-slave2，端口3308
准备主服务器
  • step1：在docker中创建并启动MySQL主服务器：端口3307
  1. docker run -d \
  2. -p 3307:3306 \
  3. -v /home/yanyu/mymysql/master/conf:/etc/mysql/conf.d \
  4. -v /home/yanyu/mymysql/master/data:/var/lib/mysql \
  5. -e MYSQL_ROOT_PASSWORD=1 \
  6. --name yanyu-mysql-master \
  7. mysql:8.0.29
  • step2：创建MySQL主服务器配置文件：**

默认情况下MySQL的binlog日志是自动开启的，可以通过如下配置定义一些可选配置

vim /home/yanyu/mymysql/master/conf/my.cnf
  1. # 服务器唯一id，默认值1
  2. server-id=1
  3. # 设置日志格式，默认值ROW
  4. binlog_format=STATEMENT
  5. # 二进制日志名，默认binlog
  6. # log-bin=binlog
  7. # 设置需要复制的数据库，默认复制全部数据库
  8. #binlog-do-db=mytestdb
  9. # 设置不需要复制的数据库
  10. #binlog-ignore-db=mysql
  11. #binlog-ignore-db=infomation_schema

重启MySQL容器

docker restart yanyu-mysql-master

binlog格式说明：

  • binlog_format=STATEMENT：日志记录的是主机数据库的写指令，性能高，但是now()之类的函数以及获取系统参数的操作会出现主从数据不同步的问题。
  • binlog_format=ROW（默认）：日志记录的是主机数据库的写后的数据，批量操作时性能较差，解决now()或者 user()或者 @@hostname 等操作在主从机器上不一致的问题。
  • binlog_format=MIXED：是以上两种level的混合使用，有函数用ROW，没函数用STATEMENT，但是无法识别系统变量

binlog-ignore-db和binlog-do-db的优先级问题：

  • step3：使用命令行登录MySQL主服务器：
  1. #进入容器：env LANG=C.UTF-8 避免容器中显示中文乱码
  2. docker exec -it yanyu-mysql-master env LANG=C.UTF-8 /bin/bash
  3. #进入容器内的mysql命令行
  4. mysql -uroot -p
  5. #修改默认密码校验方式
  6. ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
  • step4：主机中创建slave用户：
  1. -- 创建slave用户
  2. CREATE USER 'yanyu_slave'@'%';
  3. -- 设置密码
  4. ALTER USER 'yanyu_slave'@'%' IDENTIFIED WITH mysql_native_password BY '1';
  5. -- 授予复制权限
  6. GRANT REPLICATION SLAVE ON *.* TO 'yanyu_slave'@'%';
  7. -- 刷新权限
  8. FLUSH PRIVILEGES;
  • step5：主机中查询master状态：

执行完此步骤后不要再操作主服务器MYSQL，防止主服务器状态值变化

SHOW MASTER STATUS;

记下File和Position的值。执行完此步骤后不要再操作主服务器MYSQL，防止主服务器状态值变化。

准备从服务器

可以配置多台从机slave1、slave2...，这里以配置slave1为例

  • step1：在docker中创建并启动MySQL从服务器：端口3308
  1. docker run -d \
  2. -p 3308:3306 \
  3. -v /home/yanyu/mymysql/slave1/conf:/etc/mysql/conf.d \
  4. -v /home/yanyu/mymysql/slave1/data:/var/lib/mysql \
  5. -e MYSQL_ROOT_PASSWORD=1 \
  6. --name yanyu-mysql-slave1 \
  7. mysql:8.0.29
  • step2：创建MySQL从服务器配置文件：**
vim /home/yanyu/mymysql/slave1/conf/my.cnf

配置如下内容：

  1. [mysqld]
  2. # 服务器唯一id，每台服务器的id必须不同，如果配置其他从机，注意修改id
  3. server-id=3
  4. # 中继日志名，默认xxxxxxxxxxxx-relay-bin
  5. #relay-log=relay-bin

重启MySQL容器

docker restart yanyu-mysql-slave1
  • step3：使用命令行登录MySQL从服务器：**
  1. #进入容器：
  2. docker exec -it yanyu-mysql-slave1 env LANG=C.UTF-8 /bin/bash
  3. #进入容器内的mysql命令行
  4. mysql -uroot -p
  5. #修改默认密码校验方式
  6. ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123';
  • step4：在从机上配置主从关系：

在从机上执行以下SQL操作

CHANGE MASTER TO MASTER_HOST='192.168.100.201', MASTER_USER='atguigu_slave',MASTER_PASSWORD='123456', MASTER_PORT=3306, MASTER_LOG_FILE='binlog.000003',MASTER_LOG_POS=1357; 
启动主从同步

启动从机的复制功能，执行SQL：

  1. START SLAVE;
  2. -- 查看状态（不需要分号）
  3. SHOW SLAVE STATUS\G

**两个关键进程：**下面两个参数都是Yes，则说明主从配置成功！

停止和重置

需要的时候，可以使用如下SQL语句

  1. -- 在从机上执行。功能说明：停止I/O 线程和SQL线程的操作。
  2. stop slave; 
  3.  
  4. -- 在从机上执行。功能说明：用于删除SLAVE数据库的relaylog日志文件，并重新启用新的relaylog文件。
  5. reset slave;
  6.  
  7. -- 在主机上执行。功能说明：删除所有的binglog日志文件，并将日志索引文件清空，重新开始所有新的日志文件。
  8. -- 用于第一次进行搭建主从库时，进行主库binlog初始化工作；
  9. reset master;

二、实战

2.1读写分离

项目类型：Spring Initializr

SpringBoot脚手架：http://start.aliyun.com

添加依赖
  1. <dependency>
  2.             <groupId>com.mysql</groupId>
  3.             <artifactId>mysql-connector-j</artifactId>
  4.             <scope>runtime</scope>
  5.         </dependency>
  6.         <dependency>
  7.             <groupId>com.baomidou</groupId>
  8.             <artifactId>mybatis-plus-boot-starter</artifactId>
  9.             <version>3.4.1</version>
  10.         </dependency>
  11.  <dependency>
  12.             <groupId>org.apache.shardingsphere</groupId>
  13.             <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
  14.             <version>5.1.1</version>
  15.         </dependency>
yml配置
  1. spring.application.name=sharging-jdbc-demo
  2. # 开发环境设置
  3. spring.profiles.active=dev
  4. # 内存模式
  5. spring.shardingsphere.mode.type=Memory
  6.  
  7. # 配置真实数据源
  8. spring.shardingsphere.datasource.names=master,slave1,slave2
  9.  
  10. # 配置第 1 个数据源
  11. spring.shardingsphere.datasource.master.type=com.zaxxer.hikari.HikariDataSource
  12. spring.shardingsphere.datasource.master.driver-class-name=com.mysql.jdbc.Driver
  13. spring.shardingsphere.datasource.master.jdbc-url=jdbc:mysql://192.168.100.201:3306/db_user
  14. spring.shardingsphere.datasource.master.username=root
  15. spring.shardingsphere.datasource.master.password=123456
  16.  
  17. # 配置第 2 个数据源
  18. spring.shardingsphere.datasource.slave1.type=com.zaxxer.hikari.HikariDataSource
  19. spring.shardingsphere.datasource.slave1.driver-class-name=com.mysql.jdbc.Driver
  20. spring.shardingsphere.datasource.slave1.jdbc-url=jdbc:mysql://192.168.100.201:3307/db_user
  21. spring.shardingsphere.datasource.slave1.username=root
  22. spring.shardingsphere.datasource.slave1.password=123456
  23.  
  24. # 配置第 3 个数据源
  25. spring.shardingsphere.datasource.slave2.type=com.zaxxer.hikari.HikariDataSource
  26. spring.shardingsphere.datasource.slave2.driver-class-name=com.mysql.jdbc.Driver
  27. spring.shardingsphere.datasource.slave2.jdbc-url=jdbc:mysql://192.168.100.201:3308/db_user
  28. spring.shardingsphere.datasource.slave2.username=root
  29. spring.shardingsphere.datasource.slave2.password=123456
  30.  
  31. # 读写分离类型，如: Static，Dynamic
  32. spring.shardingsphere.rules.readwrite-splitting.data-sources.myds.type=Static
  33. # 写数据源名称
  34. spring.shardingsphere.rules.readwrite-splitting.data-sources.myds.props.write-data-source-name=master
  35. # 读数据源名称，多个从数据源用逗号分隔
  36. spring.shardingsphere.rules.readwrite-splitting.data-sources.myds.props.read-data-source-names=slave1,slave2
  37.  
  38. # 负载均衡算法名称
  39. spring.shardingsphere.rules.readwrite-splitting.data-sources.myds.load-balancer-name=alg_round
  40.  
  41. # 负载均衡算法配置
  42. # 负载均衡算法类型
  43. spring.shardingsphere.rules.readwrite-splitting.load-balancers.alg_round.type=ROUND_ROBIN
  44. spring.shardingsphere.rules.readwrite-splitting.load-balancers.alg_random.type=RANDOM
  45. spring.shardingsphere.rules.readwrite-splitting.load-balancers.alg_weight.type=WEIGHT
  46. spring.shardingsphere.rules.readwrite-splitting.load-balancers.alg_weight.props.slave1=1
  47. spring.shardingsphere.rules.readwrite-splitting.load-balancers.alg_weight.props.slave2=2
  48.  
  49. # 打印SQl
  50. spring.shardingsphere.props.sql-show=true
创建实体类
  1. @TableName("t_user")
  2. @Data
  3. public class User {
  4.     @TableId(type = IdType.AUTO)
  5.     private Long id;
  6.     private String uname;
  7. }
创建Mapper
  1. @Mapper
  2. public interface UserMapper extends BaseMapper<User> {
  3. }
测试
  1. @SpringBootTest
  2. public class ReadWriteTest {
  3.  
  4.     @Autowired
  5.     private UserMapper userMapper;
  6.  
  7.  
  8.     /**
  9.      * 读写分离：写入数据的测试
  10.      */
  11.     @Test
  12.     public void testInsert(){
  13.  
  14.         User user = new User();
  15.         user.setUname("张三丰");
  16.         userMapper.insert(user);
  17.     }
  18.  
  19.     /**
  20.      * 读写分离：事务测试
  21.      */
  22.     @Transactional//开启事务
  23.     @Test
  24.     public void testTrans(){
  25.  
  26.         User user = new User();
  27.         user.setUname("铁锤");
  28.         userMapper.insert(user);
  29.  
  30.         List<User> users = userMapper.selectList(null);
  31.     }
  32.  
  33.  
  34.     /**
  35.      * 读写分离：负载均衡测试
  36.      */
  37.     @Test
  38.     public void testSelectAll(){
  39.  
  40.         List<User> users1 = userMapper.selectList(null);
  41.         List<User> users2 = userMapper.selectList(null);
  42.         List<User> users3 = userMapper.selectList(null);
  43.         List<User> users4 = userMapper.selectList(null);
  44. //        users.forEach(System.out::println);
  45.     }
  46.  
  47. }
事务测试

为了保证主从库间的事务一致性，避免跨服务的分布式事务，ShardingSphere-JDBC的主从模型中，事务中的数据读写均用主库。

  • 不添加@Transactional：insert对主库操作，select对从库操作
  • 添加@Transactional：则insert和select均对主库操作
  • **注意：**在JUnit环境下的@Transactional注解，默认情况下就会对事务进行回滚（即使在没加注解@Rollback，也会对事务回滚）
  1. @Transactional//开启事务
  2. @Test
  3. public void testTrans(){
  4.  
  5.     User user = new User();
  6.     user.setUname("铁锤");
  7.     userMapper.insert(user);
  8.  
  9.     List<User> users = userMapper.selectList(null);
  10. }
负载均衡测试
  1. /**
  2.      * 读数据测试
  3.      */
  4. @Test
  5. public void testSelectAll(){
  6.     List<User> users = userMapper.selectList(null);
  7.     List<User> users = userMapper.selectList(null);//执行第二次测试负载均衡
  8.     users.forEach(System.out::println);
  9. }

也可以在web请求中测试负载均衡 

  1.  
  2. @RestController
  3. @RequestMapping("/userController")
  4. public class UserController {
  5.  
  6.     @Autowired
  7.     private UserMapper userMapper;
  8.  
  9.     /**
  10.      * 测试负载均衡策略
  11.      */
  12.     @GetMapping("selectAll")
  13.     public void selectAll(){
  14.         List<User> users = userMapper.selectList(null);
  15.         users.forEach(System.out::println);
  16.     }
  17. }
负载均衡算法
配置标识详细说明全限定类名
ROUND_ROBIN基于轮询的负载均衡算法org.apache.shardingsphere.infra.algorithm.loadbalancer.round.robin.RoundRobinLoadBalanceAlgorithm
RANDOM基于随机的负载均衡算法org.apache.shardingsphere.infra.algorithm.loadbalancer.random.RandomLoadBalanceAlgorithm
WEIGHT基于权重的负载均衡算法org.apache.shardingsphere.infra.algorithm.loadbalancer.weight.WeightLoadBalanceAlgorithm
  1. spring.shardingsphere.rules.readwrite-splitting.load-balancers.alg_round.type=ROUND_ROBIN
  2. spring.shardingsphere.rules.readwrite-splitting.load-balancers.alg_random.type=RANDOM
  3. spring.shardingsphere.rules.readwrite-splitting.load-balancers.alg_weight.type=WEIGHT
  4. spring.shardingsphere.rules.readwrite-splitting.load-balancers.alg_weight.props.slave1=1
  5. spring.shardingsphere.rules.readwrite-splitting.load-balancers.alg_weight.props.slave2=2

2.2垂直分片

概述

般的机器（4核16G），单库的MySQL并发（QPS+TPS）超过了2k，系统基本就完蛋了。最好是并发量控制在1k左右。这里就引出一个问题，为什么要分库分表？

分库分表目的：解决高并发，和数据量大的问题。

1、高并发情况下，会造成IO读写频繁，自然就会造成读写缓慢，甚至是宕机。一般单库不要超过2k并发，NB的机器除外。
2、数据量大的问题。主要由于底层索引实现导致，MySQL的索引实现为B+TREE，数据量其他，会导致索引树十分庞大，造成查询缓慢。第二，innodb的最大存储限制64TB。

要解决上述问题。最常见做法，就是分库分表。
分库分表的目的，是将一个表拆成N个表，就是让每个表的数据量控制在一定范围内，保证SQL的性能。 一个表数据建议不要超过500W。

不停机分库分表数据迁移

一般数据库的拆分也是有一个过程的，一开始是单表，后面慢慢拆成多表。那么我们就看下如何平滑的从MySQL单表过度到MySQL的分库分表架构。
1、利用mysql+canal做增量数据同步，利用分库分表中间件，将数据路由到对应的新表中。
2、利用分库分表中间件，全量数据导入到对应的新表中。
3、通过单表数据和分库分表数据两两比较，更新不匹配的数据到新表中。
4、数据稳定后，将单表的配置切换到分库分表配置上。

部署

准备服务器

服务器规划：使用docker方式创建如下容器

  • 服务器：容器名server-user，端口3301

  • 服务器：容器名server-order，端口3302

创建实体类
  1. @TableName("t_order")
  2. @Data
  3. public class Order {
  4.     @TableId(type = IdType.AUTO)
  5.     private Long id;
  6.     private String orderNo;
  7.     private Long userId;
  8.     private BigDecimal amount;
  9. }
创建Mapper
  1. package com.atguigu.shardingjdbcdemo.mapper;
  2.  
  3. @Mapper
  4. public interface OrderMapper extends BaseMapper<Order> {
  5. }
配置垂直分片
  1. # 应用名称
  2. spring.application.name=sharding-jdbc-demo
  3. # 环境设置
  4. spring.profiles.active=dev
  5.  
  6. # 配置真实数据源
  7. spring.shardingsphere.datasource.names=server-user,server-order
  8.  
  9. # 配置第 1 个数据源
  10. spring.shardingsphere.datasource.server-user.type=com.zaxxer.hikari.HikariDataSource
  11. spring.shardingsphere.datasource.server-user.driver-class-name=com.mysql.jdbc.Driver
  12. spring.shardingsphere.datasource.server-user.jdbc-url=jdbc:mysql://192.168.100.201:3301/db_user
  13. spring.shardingsphere.datasource.server-user.username=root
  14. spring.shardingsphere.datasource.server-user.password=123456
  15.  
  16. # 配置第 2 个数据源
  17. spring.shardingsphere.datasource.server-order.type=com.zaxxer.hikari.HikariDataSource
  18. spring.shardingsphere.datasource.server-order.driver-class-name=com.mysql.jdbc.Driver
  19. spring.shardingsphere.datasource.server-order.jdbc-url=jdbc:mysql://192.168.100.201:3302/db_order
  20. spring.shardingsphere.datasource.server-order.username=root
  21. spring.shardingsphere.datasource.server-order.password=123456
  22.  
  23. # 标准分片表配置（数据节点）
  24. # spring.shardingsphere.rules.sharding.tables.<table-name>.actual-data-nodes=值
  25. # 值由数据源名 + 表名组成，以小数点分隔。
  26. # <table-name>：逻辑表名
  27. spring.shardingsphere.rules.sharding.tables.t_user.actual-data-nodes=server-user.t_user
  28. spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=server-order.t_order
  29.  
  30.  
  31. # 打印SQL
  32. spring.shardingsphere.props.sql-show=true# 应用名称
  33. spring.application.name=sharding-jdbc-demo
  34. # 环境设置
  35. spring.profiles.active=dev
  36.  
  37. # 配置真实数据源
  38. spring.shardingsphere.datasource.names=server-user,server-order
  39.  
  40. # 配置第 1 个数据源
  41. spring.shardingsphere.datasource.server-user.type=com.zaxxer.hikari.HikariDataSource
  42. spring.shardingsphere.datasource.server-user.driver-class-name=com.mysql.jdbc.Driver
  43. spring.shardingsphere.datasource.server-user.jdbc-url=jdbc:mysql://192.168.100.201:3301/db_user
  44. spring.shardingsphere.datasource.server-user.username=root
  45. spring.shardingsphere.datasource.server-user.password=123456
  46.  
  47. # 配置第 2 个数据源
  48. spring.shardingsphere.datasource.server-order.type=com.zaxxer.hikari.HikariDataSource
  49. spring.shardingsphere.datasource.server-order.driver-class-name=com.mysql.jdbc.Driver
  50. spring.shardingsphere.datasource.server-order.jdbc-url=jdbc:mysql://192.168.100.201:3302/db_order
  51. spring.shardingsphere.datasource.server-order.username=root
  52. spring.shardingsphere.datasource.server-order.password=123456
  53.  
  54. # 标准分片表配置（数据节点）
  55. # spring.shardingsphere.rules.sharding.tables.<table-name>.actual-data-nodes=值
  56. # 值由数据源名 + 表名组成，以小数点分隔。
  57. # <table-name>：逻辑表名
  58. spring.shardingsphere.rules.sharding.tables.t_user.actual-data-nodes=server-user.t_user
  59. spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=server-order.t_order
  60.  
  61.  
  62. # 打印SQL
  63. spring.shardingsphere.props.sql-show=true
测试垂直分片
  1. @SpringBootTest
  2. public class ShardingTest {
  3.  
  4.  
  5.     @Autowired
  6.     private UserMapper userMapper;
  7.  
  8.     @Autowired
  9.     private OrderMapper orderMapper;
  10.  
  11.     /**
  12.      * 垂直分片：插入数据测试
  13.      */
  14.     @Test
  15.     public void testInsertOrderAndUser(){
  16.  
  17.         User user = new User();
  18.         user.setUname("强哥");
  19.         userMapper.insert(user);
  20.  
  21.         Order order = new Order();
  22.         order.setOrderNo("ATGUIGU001");
  23.         order.setUserId(user.getId());
  24.         order.setAmount(new BigDecimal(100));
  25.         orderMapper.insert(order);
  26.  
  27.     }
  28.  
  29.     /**
  30.      * 垂直分片：查询数据测试
  31.      */
  32.     @Test
  33.     public void testSelectFromOrderAndUser(){
  34.         User user = userMapper.selectById(1L);
  35.         Order order = orderMapper.selectById(1L);
  36.     }
  37. }

2.3水平分片

部署

准备服务器

服务器规划：使用docker方式创建如下容器

  • 服务器：容器名server-order0，端口3310

  • 服务器：容器名server-order1，端口3311

基本水平分片

基本配置

  1. #========================基本配置
  2. # 应用名称
  3. spring.application.name=sharging-jdbc-demo
  4. # 开发环境设置
  5. spring.profiles.active=dev
  6. # 内存模式
  7. spring.shardingsphere.mode.type=Memory
  8. # 打印SQl
  9. spring.shardingsphere.props.sql-show=true
  10. #========================数据源配置
  11. # 配置真实数据源
  12. spring.shardingsphere.datasource.names=server-user,server-order0,server-order1
  13.  
  14. # 配置第 1 个数据源
  15. spring.shardingsphere.datasource.server-user.type=com.zaxxer.hikari.HikariDataSource
  16. spring.shardingsphere.datasource.server-user.driver-class-name=com.mysql.jdbc.Driver
  17. spring.shardingsphere.datasource.server-user.jdbc-url=jdbc:mysql://192.168.100.201:3301/db_user
  18. spring.shardingsphere.datasource.server-user.username=root
  19. spring.shardingsphere.datasource.server-user.password=123456
  20.  
  21. # 配置第 2 个数据源
  22. spring.shardingsphere.datasource.server-order.type=com.zaxxer.hikari.HikariDataSource
  23. spring.shardingsphere.datasource.server-order.driver-class-name=com.mysql.jdbc.Driver
  24. spring.shardingsphere.datasource.server-order.jdbc-url=jdbc:mysql://192.168.100.201:3310/db_order
  25. spring.shardingsphere.datasource.server-order.username=root
  26. spring.shardingsphere.datasource.server-order.password=123456
  27.  
  28. # 配置第 3 个数据源
  29. spring.shardingsphere.datasource.server-order.type=com.zaxxer.hikari.HikariDataSource
  30. spring.shardingsphere.datasource.server-order.driver-class-name=com.mysql.jdbc.Driver
  31. spring.shardingsphere.datasource.server-order.jdbc-url=jdbc:mysql://192.168.100.201:3311/db_order
  32. spring.shardingsphere.datasource.server-order.username=root
  33. spring.shardingsphere.datasource.server-order.password=123456
标椎分片表配置
  1.  
  2. #========================标准分片表配置（数据节点配置）
  3. # spring.shardingsphere.rules.sharding.tables.<table-name>.actual-data-nodes=值
  4. # 值由数据源名 + 表名组成，以小数点分隔。多个表以逗号分隔，支持 inline 表达式。
  5. # <table-name>：逻辑表名
  6. spring.shardingsphere.rules.sharding.tables.t_user.actual-data-nodes=server-user.t_user
  7. spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=server-order0.t_order0,server-order0.t_order1,server-order1.t_order0,server-order1.t_order1

修改Order实体类的主键策略：

  1. //@TableId(type = IdType.AUTO)//依赖数据库的主键自增策略
  2. @TableId(type = IdType.ASSIGN_ID)//分布式id
测试
  1. @Test
  2. public void testInsertOrder(){
  3.  
  4.     Order order = new Order();
  5.     order.setOrderNo("ATGUIGU001");
  6.     order.setUserId(1L);
  7.     order.setAmount(new BigDecimal(100));
  8.     orderMapper.insert(order);
  9. }

行表达式

优化上一步的分片表配置

行表达式 :: ShardingSphere

  1. #========================标准分片表配置（数据节点配置）
  2. # spring.shardingsphere.rules.sharding.tables.<table-name>.actual-data-nodes=值
  3. # 值由数据源名 + 表名组成，以小数点分隔。多个表以逗号分隔，支持 inline 表达式。
  4. # <table-name>：逻辑表名
  5. spring.shardingsphere.rules.sharding.tables.t_user.actual-data-nodes=server-user.t_user
  6. spring.shardingsphere.rules.sharding.tables.t_order.actual-data-nodes=server-order$->{0..1}.t_order$->{0..1}

分片算法配置

水平分库：

分片规则：order表中user_id为偶数时，数据插入server-order0服务器，user_id为奇数时，数据插入server-order1服务器。这样分片的好处是，同一个用户的订单数据，一定会被插入到同一台服务器上，查询一个用户的订单时效率较高。

  1. #------------------------分库策略
  2. # 分片列名称
  3. spring.shardingsphere.rules.sharding.tables.t_order.database-strategy.standard.sharding-column=user_id
  4. # 分片算法名称
  5. spring.shardingsphere.rules.sharding.tables.t_order.database-strategy.standard.sharding-algorithm-name=alg_inline_userid
  6.  
  7. #------------------------分片算法配置
  8. # 行表达式分片算法
  9. # 分片算法类型
  10. spring.shardingsphere.rules.sharding.sharding-algorithms.alg_inline_userid.type=INLINE
  11. # 分片算法属性配置
  12. spring.shardingsphere.rules.sharding.sharding-algorithms.alg_inline_userid.props.algorithm-expression=server-order$->{user_id % 2}
  13.  
  14. # 取模分片算法
  15. # 分片算法类型
  16. spring.shardingsphere.rules.sharding.sharding-algorithms.alg_mod.type=MOD
  17. # 分片算法属性配置
  18. spring.shardingsphere.rules.sharding.sharding-algorithms.alg_mod.props.sharding-count=2
  19.  
  20. # 哈希取模分片算法
  21. # 分片算法类型
  22. spring.shardingsphere.rules.sharding.sharding-algorithms.alg_hash_mod.type=HASH_MOD
  23. # 分片算法属性配置
  24. spring.shardingsphere.rules.sharding.sharding-algorithms.alg_hash_mod.props.sharding-count=2

测试：可以分别测试行表达式分片算法和取模分片算法

  1. /**
  2.      * 水平分片：分库插入数据测试
  3.      */
  4. @Test
  5. public void testInsertOrderDatabaseStrategy(){
  6.  
  7.     for (long i = 0; i < 4; i++) {
  8.         Order order = new Order();
  9.         order.setOrderNo("ATGUIGU001");
  10.         order.setUserId(i + 1);
  11.         order.setAmount(new BigDecimal(100));
  12.         orderMapper.insert(order);
  13.     }
  14.  
  15. }
水平分表：

分片规则：order表中order_no的哈希值为偶数时，数据插入对应服务器的t_order0表，order_no的哈希值为奇数时，数据插入对应服务器的t_order1表。因为order_no是字符串形式，因此不能直接取模。

  1. #------------------------分表策略
  2. # 分片列名称
  3. spring.shardingsphere.rules.sharding.tables.t_order.table-strategy.standard.sharding-column=order_no
  4. # 分片算法名称
  5. spring.shardingsphere.rules.sharding.tables.t_order.table-strategy.standard.sharding-algorithm-name=alg_hash_mod
  6.  
  7.  
  8. #------------------------分片算法配置
  9. # 哈希取模分片算法
  10. # 分片算法类型
  11. spring.shardingsphere.rules.sharding.sharding-algorithms.alg_hash_mod.type=HASH_MOD
  12. # 分片算法属性配置
  13. spring.shardingsphere.rules.sharding.sharding-algorithms.alg_hash_mod.props.sharding-count=2

查询测试：

  1. /**
  2.      * 水平分片：查询所有记录
  3.      * 查询了两个数据源，每个数据源中使用UNION ALL连接两个表
  4.      */
  5. @Test
  6. public void testShardingSelectAll(){
  7.  
  8.     List<Order> orders = orderMapper.selectList(null);
  9.     orders.forEach(System.out::println);
  10. }
  11.  
  12. /**
  13.      * 水平分片：根据user_id查询记录
  14.      * 查询了一个数据源，每个数据源中使用UNION ALL连接两个表
  15.      */
  16. @Test
  17. public void testShardingSelectByUserId(){
  18.  
  19.     QueryWrapper<Order> orderQueryWrapper = new QueryWrapper<>();
  20.     orderQueryWrapper.eq("user_id", 1L);
  21.     List<Order> orders = orderMapper.selectList(orderQueryWrapper);
  22.     orders.forEach(System.out::println);
  23. }

分布式序列算法

ShardingSphere提供灵活的配置分布式主键生成策略方式。在分片规则配置模块克配置每个表的主键生成策略。默认使用雪花算法。（snowflake）生成64bit的长整型数据。支持两种方式配置

  • SNOWFLAKE
  • UUID

雪花算法：

分布式主键 :: ShardingSphere

水平分片需要关注全局序列，因为不能简单的使用基于数据库的主键自增。

这里有两种方案：一种是基于MyBatisPlus的id策略；一种是ShardingSphere-JDBC的全局序列配置。

基于MyBatisPlus的id策略：将Order类的id设置成如下形式

  1. @TableId(type = IdType.ASSIGN_ID)
  2. private Long id;

基于ShardingSphere-JDBC的全局序列配置：和前面的MyBatisPlus的策略二选一

  1. #------------------------分布式序列策略配置
  2. # 分布式序列列名称
  3. spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.column=id
  4. # 分布式序列算法名称
  5. spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.key-generator-name=alg_snowflake
  6.  
  7. # 分布式序列算法配置
  8. # 分布式序列算法类型
  9. spring.shardingsphere.rules.sharding.key-generators.alg_snowflake.type=SNOWFLAKE
  10. # 分布式序列算法属性配置
  11. #spring.shardingsphere.rules.sharding.key-generators.alg_snowflake.props.xxx=

此时，需要将实体类中的id策略修改成以下形式：

  1. //当配置了shardingsphere-jdbc的分布式序列时，自动使用shardingsphere-jdbc的分布式序列
  2. //当没有配置shardingsphere-jdbc的分布式序列时，自动依赖数据库的主键自增策略
  3. @TableId(type = IdType.AUTO)

2.4多表关联

创建关联表

在server-order0、server-order1服务器中分别创建两张订单详情表t_order_item0、t_order_item1

我们希望同一个用户的订单表和订单详情表中的数据都在同一个数据源中，避免跨库关联，因此这两张表我们使用相同的分片策略。

那么在t_order_item中我们也需要创建order_no和user_id这两个分片键

  1. CREATE TABLE t_order_item0(
  2.     id BIGINT,
  3.     order_no VARCHAR(30),
  4.     user_id BIGINT,
  5.     price DECIMAL(10,2),
  6.     `count` INT,
  7.     PRIMARY KEY(id)
  8. );
  9.  
  10. CREATE TABLE t_order_item1(
  11.     id BIGINT,
  12.     order_no VARCHAR(30),
  13.     user_id BIGINT,
  14.     price DECIMAL(10,2),
  15.     `count` INT,
  16.     PRIMARY KEY(id)
  17. );

创建实体类

  1. package com.atguigu.shardingjdbcdemo.entity;
  2.  
  3. @TableName("t_order_item")
  4. @Data
  5. public class OrderItem {
  6.     //当配置了shardingsphere-jdbc的分布式序列时，自动使用shardingsphere-jdbc的分布式序列
  7.     @TableId(type = IdType.AUTO)
  8.     private Long id;
  9.     private String orderNo;
  10.     private Long userId;
  11.     private BigDecimal price;
  12.     private Integer count;
  13. }

创建Mapper

  1. package com.atguigu.shargingjdbcdemo.mapper;
  2.  
  3. @Mapper
  4. public interface OrderItemMapper extends BaseMapper<OrderItem> {
  5.  
  6. }

配置关联表

t_order_item的分片表、分片策略、分布式序列策略和t_order一致

  1. #------------------------标准分片表配置（数据节点配置）
  2. spring.shardingsphere.rules.sharding.tables.t_order_item.actual-data-nodes=server-order$->{0..1}.t_order_item$->{0..1}
  3.  
  4. #------------------------分库策略
  5. # 分片列名称
  6. spring.shardingsphere.rules.sharding.tables.t_order_item.database-strategy.standard.sharding-column=user_id
  7. # 分片算法名称
  8. spring.shardingsphere.rules.sharding.tables.t_order_item.database-strategy.standard.sharding-algorithm-name=alg_mod
  9.  
  10. #------------------------分表策略
  11. # 分片列名称
  12. spring.shardingsphere.rules.sharding.tables.t_order_item.table-strategy.standard.sharding-column=order_no
  13. # 分片算法名称
  14. spring.shardingsphere.rules.sharding.tables.t_order_item.table-strategy.standard.sharding-algorithm-name=alg_hash_mod
  15.  
  16. #------------------------分布式序列策略配置
  17. # 分布式序列列名称
  18. spring.shardingsphere.rules.sharding.tables.t_order_item.key-generate-strategy.column=id
  19. # 分布式序列算法名称
  20. spring.shardingsphere.rules.sharding.tables.t_order_item.key-generate-strategy.key-generator-name=alg_snowflake

测试插入数据

同一个用户的订单表和订单详情表中的数据都在同一个数据源中，避免跨库关联

  1. /**
  2.      * 测试关联表插入
  3.      */
  4. @Test
  5. public void testInsertOrderAndOrderItem(){
  6.  
  7.     for (long i = 1; i < 3; i++) {
  8.  
  9.         Order order = new Order();
  10.         order.setOrderNo("ATGUIGU" + i);
  11.         order.setUserId(1L);
  12.         orderMapper.insert(order);
  13.  
  14.         for (long j = 1; j < 3; j++) {
  15.             OrderItem orderItem = new OrderItem();
  16.             orderItem.setOrderNo("ATGUIGU" + i);
  17.             orderItem.setUserId(1L);
  18.             orderItem.setPrice(new BigDecimal(10));
  19.             orderItem.setCount(2);
  20.             orderItemMapper.insert(orderItem);
  21.         }
  22.     }
  23.  
  24.     for (long i = 5; i < 7; i++) {
  25.  
  26.         Order order = new Order();
  27.         order.setOrderNo("ATGUIGU" + i);
  28.         order.setUserId(2L);
  29.         orderMapper.insert(order);
  30.  
  31.         for (long j = 1; j < 3; j++) {
  32.             OrderItem orderItem = new OrderItem();
  33.             orderItem.setOrderNo("ATGUIGU" + i);
  34.             orderItem.setUserId(2L);
  35.             orderItem.setPrice(new BigDecimal(1));
  36.             orderItem.setCount(3);
  37.             orderItemMapper.insert(orderItem);
  38.         }
  39.     }
  40.  
  41. }

2.5绑定表

**需求：**查询每个订单的订单号和总订单金额

配置绑定表

在原来水平分片配置的基础上添加如下配置：

  1. #------------------------绑定表
  2. spring.shardingsphere.rules.sharding.binding-tables[0]=t_order,t_order_item

配置完绑定表后再次进行关联查询的测试：

  • **如果不配置绑定表：测试的结果为8个SQL。**多表关联查询会出现笛卡尔积关联。

  • 如果配置绑定表：测试的结果为4个SQL。 多表关联查询不会出现笛卡尔积关联，关联查询效率将大大提升。

绑定表：指分片规则一致的一组分片表。 使用绑定表进行多表关联查询时，必须使用分片键进行关联，否则会出现笛卡尔积关联或跨库关联，从而影响查询效率。

2.6广播表

什么是广播表

指所有的分片数据源中都存在的表，表结构及其数据在每个数据库中均完全一致。 适用于数据量不大且需要与海量数据的表进行关联查询的场景，例如：字典表。

广播具有以下特性：

（1）插入、更新操作会实时在所有节点上执行，保持各个分片的数据一致性

（2）查询操作，只从一个节点获取

（3）可以跟任何一个表进行 JOIN 操作

配置广播表

  1. #数据节点可不配置，默认情况下，向所有数据源广播
  2. spring.shardingsphere.rules.sharding.tables.t_dict.actual-data-nodes=server-user.t_dict,server-order$->{0..1}.t_dict
  3.  
  4. # 广播表
  5. spring.shardingsphere.rules.sharding.broadcast-tables[0]=t_dict

三、ShardingSphere-Proxy

3.1启动ShardingSphere-Proxy

  1. docker run -d \
  2. -v /atguigu/server/proxy-a/conf:/opt/shardingsphere-proxy/conf \
  3. -v /atguigu/server/proxy-a/ext-lib:/opt/shardingsphere-proxy/ext-lib \
  4. -e ES_JAVA_OPTS="-Xmx256m -Xms256m -Xmn128m" \
  5. -p 3321:3307 \
  6. --name server-proxy-a \
  7. apache/shardingsphere-proxy:5.1.1

3.2读写分离

修改配置config-readwrite-splitting.yaml

  1. schemaName: readwrite_splitting_db
  2.  
  3. dataSources:
  4.   write_ds:
  5.     url: jdbc:mysql://192.168.100.201:3306/db_user?serverTimezone=UTC&useSSL=false
  6.     username: root
  7.     password: 123456
  8.     connectionTimeoutMilliseconds: 30000
  9.     idleTimeoutMilliseconds: 60000
  10.     maxLifetimeMilliseconds: 1800000
  11.     maxPoolSize: 50
  12.     minPoolSize: 1
  13.   read_ds_0:
  14.     url: jdbc:mysql://192.168.100.201:3307/db_user?serverTimezone=UTC&useSSL=false
  15.     username: root
  16.     password: 123456
  17.     connectionTimeoutMilliseconds: 30000
  18.     idleTimeoutMilliseconds: 60000
  19.     maxLifetimeMilliseconds: 1800000
  20.     maxPoolSize: 50
  21.     minPoolSize: 1
  22.   read_ds_1:
  23.     url: jdbc:mysql://192.168.100.201:3308/db_user?serverTimezone=UTC&useSSL=false
  24.     username: root
  25.     password: 123456
  26.     connectionTimeoutMilliseconds: 30000
  27.     idleTimeoutMilliseconds: 60000
  28.     maxLifetimeMilliseconds: 1800000
  29.     maxPoolSize: 50
  30.     minPoolSize: 1
  31.  
  32. rules:
  33. - !READWRITE_SPLITTING
  34.   dataSources:
  35.     readwrite_ds:
  36.       type: Static
  37.       props:
  38.         write-data-source-name: write_ds
  39.         read-data-source-names: read_ds_0,read_ds_1

 3.3应用程序访问Proxy

配置数据源

  1. # 应用名称
  2. spring.application.name=sharding-proxy-demo
  3. # 开发环境设置
  4. spring.profiles.active=dev
  5.  
  6. #mysql数据库连接（proxy）
  7. spring.datasource.driver-class-name=com.mysql.jdbc.Driver
  8. spring.datasource.url=jdbc:mysql://192.168.100.201:3321/readwrite_splitting_db?serverTimezone=GMT%2B8&useSSL=false
  9. spring.datasource.username=root
  10. spring.datasource.password=root
  11.  
  12. #mybatis日志
  13. mybatis-plus.configuration.log-impl=org.apache.ibatis.logging.stdout.StdOutImpl

3.4ShardingSphere-Proxy垂直分片

  1. schemaName: sharding_db
  2.  
  3. dataSources:
  4.   ds_0:
  5.     url: jdbc:mysql://192.168.100.201:3301/db_user?serverTimezone=UTC&useSSL=false
  6.     username: root
  7.     password: 123456
  8.     connectionTimeoutMilliseconds: 30000
  9.     idleTimeoutMilliseconds: 60000
  10.     maxLifetimeMilliseconds: 1800000
  11.     maxPoolSize: 50
  12.     minPoolSize: 1
  13.   ds_1:
  14.     url: jdbc:mysql://192.168.100.201:3302/db_order?serverTimezone=UTC&useSSL=false
  15.     username: root
  16.     password: 123456
  17.     connectionTimeoutMilliseconds: 30000
  18.     idleTimeoutMilliseconds: 60000
  19.     maxLifetimeMilliseconds: 1800000
  20.     maxPoolSize: 50
  21.     minPoolSize: 1
  22.  
  23. rules:
  24. - !SHARDING
  25.   tables:
  26.     t_user:
  27.       actualDataNodes: ds_0.t_user
  28.     t_order:
  29.       actualDataNodes: ds_1.t_order

3.5ShardingSphere-Proxy水平分片

修改配置文件

修改配置config-sharding.yaml

  1. schemaName: sharding_db
  2.  
  3. dataSources:
  4.   ds_user:
  5.     url: jdbc:mysql://192.168.100.201:3301/db_user?serverTimezone=UTC&useSSL=false
  6.     username: root
  7.     password: 123456
  8.     connectionTimeoutMilliseconds: 30000
  9.     idleTimeoutMilliseconds: 60000
  10.     maxLifetimeMilliseconds: 1800000
  11.     maxPoolSize: 50
  12.     minPoolSize: 1
  13.   ds_order0:
  14.     url: jdbc:mysql://192.168.100.201:3310/db_order?serverTimezone=UTC&useSSL=false
  15.     username: root
  16.     password: 123456
  17.     connectionTimeoutMilliseconds: 30000
  18.     idleTimeoutMilliseconds: 60000
  19.     maxLifetimeMilliseconds: 1800000
  20.     maxPoolSize: 50
  21.     minPoolSize: 1
  22.   ds_order1:
  23.     url: jdbc:mysql://192.168.100.201:3311/db_order?serverTimezone=UTC&useSSL=false
  24.     username: root
  25.     password: 123456
  26.     connectionTimeoutMilliseconds: 30000
  27.     idleTimeoutMilliseconds: 60000
  28.     maxLifetimeMilliseconds: 1800000
  29.     maxPoolSize: 50
  30.     minPoolSize: 1
  31.  
  32. rules:
  33. - !SHARDING
  34.   tables:
  35.     t_user:
  36.       actualDataNodes: ds_user.t_user
  37.  
  38.     t_order:
  39.       actualDataNodes: ds_order${0..1}.t_order${0..1}
  40.       databaseStrategy:
  41.         standard:
  42.           shardingColumn: user_id
  43.           shardingAlgorithmName: alg_mod
  44.       tableStrategy:
  45.         standard:
  46.           shardingColumn: order_no
  47.           shardingAlgorithmName: alg_hash_mod
  48.       keyGenerateStrategy:
  49.         column: id
  50.         keyGeneratorName: snowflake
  51.     t_order_item:
  52.       actualDataNodes: ds_order${0..1}.t_order_item${0..1}
  53.       databaseStrategy:
  54.         standard:
  55.           shardingColumn: user_id
  56.           shardingAlgorithmName: alg_mod
  57.       tableStrategy:
  58.         standard:
  59.           shardingColumn: order_no
  60.           shardingAlgorithmName: alg_hash_mod
  61.       keyGenerateStrategy:
  62.         column: id
  63.         keyGeneratorName: snowflake
  64.  
  65.   bindingTables:
  66.     - t_order,t_order_item
  67.  
  68.  
  69.   broadcastTables:
  70.     - t_dict
  71.  
  72.   shardingAlgorithms:
  73.     alg_inline_userid:
  74.       type: INLINE
  75.       props:
  76.         algorithm-expression: server-order$->{user_id % 2}
  77.     alg_mod:
  78.       type: MOD
  79.       props:
  80.         sharding-count: 2
  81.     alg_hash_mod:
  82.       type: HASH_MOD
  83.       props:
  84.         sharding-count: 2
  85.  
  86.   keyGenerators:
  87.     snowflake:
  88.       type: SNOWFLAKE

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/902292
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号