Apache ShardingSphere 5.4.0 最新版本全知道！_shardingsphere 还在更新吗

Apache ShardingSphere在2023年7月初迎来了 5.4.0 版本的发布，该版本历时两个月，共合并了来自全球的团队和个人累计 1271 个 PR，新版本在功能、性能、测试、文档、示例等方面都进行了大量的优化。本次更新包含了不少能够提升用户体验、解决用户痛点的内容，本文与大家一起快速预览：

• 广播表调整为全局表
• CDC 功能完善
• Single table 元数据加载逻辑优化

功能预览

广播表调整为全局表

功能描述

广播表指所有的分片数据源中都存在的表，表结构及其数据在每个数据库中均完全一致。 适用于数据量不大且需要与海量数据的表进行关联查询的场景，例如：字典表。目前广播表只能存在于使用分片表内的数据源中。为了解决单表和广播表如果不在同一个存储节点时无法关联查询的问题，现调整为可以使用逻辑库下的全部数据源，所以需要把广播表从分片规则中移出。

API 变更

元数据

• 新增 BroadcastRule
• 已有的 ShardingSphereRuleMetaData 中 rules 集合会存储 BroadcastRule
• ShardingRuleConfiguration 中去掉 broadcastTables
• ShardingRule 中去掉 broadcastTables
• YamlShardingRuleConfiguration 中去掉 broadcastTables

DistSQL

• CREATE BROADCAST TABLE RULE 内部逻辑调整，SQL 语句无影响
• DROP BROADCAST TABLE RULE 内部逻辑调整，SQL 语句无影响
• SHOW BROADCAST TABLE RULES 内部逻辑调整，SQL 语句无影响
• COUNT SHARDING RULE FROM sharding_db 结果集中移除 broadcast_table 信息，SQL 语句无影响

mysql> COUNT SHARDING RULE FROM sharding_db;
+--------------------------+----------------+-------+
| rule_name                | database       | count |
+--------------------------+----------------+-------+
| sharding_table           | sharding_db    | 2     |
| sharding_table_reference | sharding_db    | 2     |
| broadcast_table          | sharding_db    | 0     |
+--------------------------+----------------+-------+
3 rows in set (0.00 sec)
1
2
3
4
5
6
7
8
9

• 新增 COUNT BROADCAST RULE (FROM sharding_db) 语句

YAML

• config-sharding.yaml 配置文件中原有 SHARDING RULE 下去掉 broadcastTables 配置
• config-sharding.yaml 配置文件中新增 BROADCAST RULE 配置广播表

JAVA Config

• 新增 YamlBroadcastRuleConfiguration
• 新增 BroadcastRuleConfiguration

SPI 接口

• 新增 YamlBroadcastRuleConfigurationSwapper 类实现 YamlRuleConfigurationSwapper 接口
• 新增 BroadcastSQLRouter 类实现 SQLRouter接口

CDC 功能完善

CDC 即 Change Data Capture（变更数据捕获），是数据库的常见功能，大部分关系型数据库也都提供了 CDC 功能，比如：MySQL、PostgreSQL、openGauss 等。变更包括记录的增删改，也可能是结构的变化。CDC 系统捕获到变更数据之后，分发给订阅变更数据的下游，再写入其它系统，比如：OLTP、OLAP 或者 MQ 系统。CDC 可用于数据同步，也可用于 ETL。

ShardingSphere 5.4.0 主要有如下两个方面的优化：

CDC 支持纯增量模式

纯增量模式可以在创建 CDCClient 的时候指定，此时 CDC 会跳过全量数据同步阶段，并尽早的初始化增量的位点。

StartCDCClientParameter parameter = new StartCDCClientParameter();
// full 的值默认就是 false，表示只订阅纯增量数据
parameter.setFull(false);
......
new CDCClient(parameter, records -> {
}).start();
1
2
3
4
5
6

CDC 增量数据按事务输出

为了保证同一事务的数据可以完整的输出到客户端，对 CDC 的增量阶段进行了优化，尽量保证物理库级别的事务完整输出。

场景 A 所有的数据库都能支持。

场景 B 是一个 XA 事务，多个物理数据库之间的是互相独立的，目前只支持 openGuass。

openGauss 提供了 GLT 组件，确保在同一个 XA 事务中，多个数据库实例的 CSN 是一样的。CDC 在输出数据的时候，根据 CSN 进行排序，保证了 XA 事务的顺序。

CSN（Commit Sequence Number）：待提交事务的序列号，在 openGauss 内部使用 CSN 作为逻辑时间戳，模拟数据库内部的时序。

GLT：全局逻辑时钟，维护了 next CSN，ShardingSphere 会统一下发 CSN 到 openGauss 实例，确保任意两个事务之间的可见性在各分片上是一致的。

Single table 元数据加载逻辑优化

从 5.0 版本开始，ShardingSphere 能够自动的扫描单表（非分片表）和记录单表元数据，在用户执行相关 SQL 时进行正确的路由。但是，由于应用环境的复杂性，一些用户场景中出现了大量单表的情况，导致了以下问题：

• 启动速度变慢（元数据扫描耗时较长）
• 占用内存增多（大量单表和元数据对象）

经过分析，出现大量单表的主要原因有：

• ShardingSphere 管理的数据源较多，但一部分表与当前业务无关
• 历史项目迭代，遗留的单表过多

考虑到该问题的普遍性，我们设计了一种新的机制，允许用户按需导入单表，避免启动阶段或者执行 REGISTER STORAGE UNIT 时自动加载过多单表元数据。从 5.4.0 版本开始，用户可以根据需要进行单表加载的管理，新增的 YAML 配置和 DistSQL 语句如下：

• YAML

# YAML 配置
databaseName: sharding_db
 
- !SINGLE
  tables:
    # MySQL 模式
    - ds_0.t_single
    - ds_2.*
    - "*.*"
    # PostgreSQL, openGauss 支持指定 schema
    - ds_1.public.t_config
    - ds_1.public.*
    - ds_1.*.*
    - "*.*.*"
  # 既存，控制 CREATE TABLE 路由
  defaultDataSource: ds_0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

• DistSQL

-- MySQL
LOAD SINGLE TABLE ds_0.t_single;
LOAD SINGLE TABLE ds_0.*;
LOAD SINGLE TABLE *.*;
 
-- PostgreSQL, openGauss
LOAD SINGLE TABLE ds_0.public.t_single;
LOAD SINGLE TABLE ds_0.public.*;
LOAD SINGLE TABLE ds_0.*.*;
LOAD SINGLE TABLE *.*.*;
 
-- 查看未加载的单表
SHOW UNLOADED SINGLE TABLES;
 
-- 查看单表及分布（既存）
SHOW SINGLE (TABLES | TABLE tableName);
 
-- 移除单表，格式与 LOAD 对应
UNLOAD SINGLE TABLE ds_0.t_single；
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

特别说明：

• Encrypt、Mask 等规则中已经配置的表名，如存在于单表中，自动加载
• 用户执行 CREATE TABLE 时，若该表为单表，自动加载

以下是调整前后的变化：

调整前：

• 单表无需配置
• 加载所有单表及其元数据

调整后：

• 新增单表配置和 DistSQL 语法
• 单表按需求加载，提高启动速度，降低内存消耗
• 其它规则中需要的单表，自动加载
• CREATE TABLE 创建的单表，自动加载

更新日志

API 调整

新功能

功能增强

问题修复

相关链接

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/寸_铁/article/detail/756900