分布式-数据库治理_关于分布式项目数据治理和建档立卡有关建议

一、分布式数据库

1.选择什么样的分布式数据库？

分布式架构下的数据应用场景远比集中式架构复杂，会产生很多数据相关的问题。谈到数据，首先就是要选择合适的分布式数据库。

分布式数据库大多采用数据多副本的方式，实现数据访问的高性能、多活和容灾。

目前主要有三种不同的分布式数据库解决方案。它们的主要差异是数据多副本的处理方式和数据库中间件。

1. 一体化分布式数据库方案

它支持数据多副本、高可用。多采用 Paxos 协议，一次写入多数据副本，多数副本写入成

功即算成功。代表产品是 OceanBase 和高斯数据库。

2. 集中式数据库 + 数据库中间件方案

它是集中式数据库与数据库中间件结合的方案，通过数据库中间件实现数据路由和全局数据管理。

数据库中间件和数据库独立部署，采用数据库自身的同步机制实现主副本数据的一致性。

集中式数据库主要有 MySQL 和 PostgreSQL 数据库，基于这两种数据库衍生出了很

多的解决方案，比如开源数据库中间件 MyCat+MySQL 方案，TBase（基于PostgreSQL，但做了比较大的封装和改动）等方案。

3. 集中式数据库 + 分库类库方案

它是一种轻量级的数据库中间件方案，分库类库实际上是一个基础 JAR 包，与应用软件部署在一起，实现数据路由和数据归集。

它适合比较简单的读写交易场景，在强一致性和聚合分析查询方面相对较弱。典型分库基础组件有 ShardingSphere。

4.总结

这三种方案实施成本不一样，业务支持能力差异也比较大。

一体化分布式数据库主要由互联网大厂开发，具有超强的数据处理能力，大多需要云计算底座，实施成本和技术能力要求比较高。

集中式数据库 + 数据库中间件方案，实施成本和技术能力要求适中，可满足中大型企业业务要求。

第三种分库类库的方案可处理简单的业务场景，成本和技能要求相对较低。

在选择数据库的时候，我们要考虑自身能力、成本以及业务需要，从而选择合适的方案。

2、如何设计数据库分库主键？

选择了分布式数据库，第二步就要考虑数据分库，这时分库主键的设计就很关键了。

与客户接触的关键业务，我建议你以客户 ID 作为分库主键。这样可以确保同一个客户的数据分布在同一个数据单元内，避免出现跨数据单元的频繁数据访问。跨数据中心的频繁服务

调用或跨数据单元的查询，会对系统性能造成致命的影响。

将客户的所有数据放在同一个数据单元，对客户来说也更容易提供客户一致性服务。而对企

业来说，“以客户为中心”的业务能力，首先就要做到数据上的“以客户为中心”。

当然，你也可以根据业务需要用其它的业务属性作为分库主键，比如机构、用户等。

3、数据库的数据同步和复制

在微服务架构中，数据被进一步分割。为了实现数据的整合，数据库之间批量数据同步与复制是必不可少的。

数据同步与复制主要用于数据库之间的数据同步，实现业务数据迁移、数据备份、不同渠道核心业务数据向数据平台或数据中台的数据复制、以及不同主题数据的整合等。

传统的数据传输方式有 ETL 工具和定时提数程序，但数据在时效性方面存在短板。

分布式架构一般采用基于数据库逻辑日志增量数据捕获（CDC）技术，它可以实现准实时的数据复制和传输，实现数据处理与应用逻辑解耦，使用起来更加简单便捷。如监听数据库binlog进行实时同步。

现在主流的 PostgreSQL 和 MySQL 数据库外围，有很多数据库日志捕获技术组件。CDC也可以用在领域事件驱动设计中，作为领域事件增量数据的获取技术。

4、跨库关联查询如何处理？

跨库关联查询是分布式数据库的一个短板，会影响查询性能。在领域建模时，很多实体会分散到不同的微服务中，但很多时候会因为业务需求，它们之间需要关联查询。

关联查询的业务场景包括两类：第一类是基于某一维度或某一主题域的数据查询，比如基于客户全业务视图的数据查询，这种查询会跨多个业务线的微服务；第二类是表与表之间的关联查询，比如机构表与业务表的联表查询，但机构表和业务表分散在不同的微服务。

如何解决这两类关联查询呢？

对于第一类场景，由于数据分散在不同微服务里，我们无法跨多个微服务来统计这些数据。

你可以建立面向主题的分布式数据库，它的数据来源于不同业务的微服务。

采用数据库日志捕获技术

采用数据库日志捕获技术，从各业务端微服务将数据准实时汇集到主题数据库。在数据汇集时，提前做好数据关联（如将多表数据合并为一个宽表）或者建立数据模型。面向主题数据库建设查询微服务。这样一次查询你就可以获取客户所有维度的业务数据了。你还可以根据主题或场景设计合适的分库主键，提高查询效率。

借助大数据平台

由于大数据平台会抽离各个业务的数据库模型，可以在大数据平台加上定时任务用于计算业务模型，然后在讲计算结果推送到业务平台

对于第二类场景，对于不在同一个数据库的表与表之间的关联查询场景，你可以采用小表广

播，在业务库中增加一张冗余的代码副表。当主表数据发生变化时，你可以通过消息发布和

订阅的领域事件驱动模式，异步刷新所有副表数据。这样既可以解决表与表的关联查询，还

可以提高数据的查询效率。

二、数据中台与企业级数据集成

分布式微服务架构虽然提升了应用弹性和高可用能力，但原来集中的数据会随着微服务拆分

而形成很多数据孤岛，增加数据集成和企业级数据使用的难度。你可以通过数据中台来实现

数据融合，解决分布式架构下的数据应用和集成问题。

你可以分三步来建设数据中台。

第一，按照统一数据标准，完成不同微服务和渠道业务数据的汇集和存储，解决数据孤岛和

初级数据共享的问题。

第二，建立主题数据模型，按照不同主题和场景对数据进行加工处理，建立面向不同主题的

数据视图，比如客户统一视图、代理人视图和渠道视图等。

第三，建立业务需求驱动的数据体系，支持业务和商业模式创新。

数据中台不仅限于分析场景，也适用于交易型场景。你可以建立在数据仓库和数据平台上，

将数据平台化之后提供给前台业务使用，为交易场景提供支持。

三、单进程多数据源解决方案

1.为什么建议一个服务只要一个数据源

1.共享事务问题

对多数据源写操作时，如何保证数据的一致性，完整性？即如果要保证双写的一致性，可能会引入分布式事务的解决方案，这样直接增加了系统的复杂度。

一种理论可行的方案是，直接让各个服务共享数据库连接。同一个应用进程中的不同持久化工具（JDBC、ORM、JMS 等）共享数据库连接并不困难，一些中间件服务器（比如 WebSphere），就内置了“可共享连接”功能来专门支持共享数据库的连接。

但这种“共享”的前提是，数据源的使用者都在同一个进程内。由于数据库连接的基础是网络连接，它是与 IP 地址和端口号绑定的，字面意义上的“不同服务节点共享数据库连接”很难做到。

所以，为了实现共享事务，就必须新增一个中间角色，也就是交易服务器。无论是用户服务、商家服务还是仓库服务，它们都要通过同一台交易服务器来与数据库打交道。

如果将交易服务器的对外接口实现为满足 JDBC 规范，那它完全可以看作一个独立于各个服务的远程数据库连接池，或者直接作为数据库代理来看待。此时，三个服务所发出的交易请求就有可能做到，由交易服务器上的同一个数据库连接，通过本地事务的方式完成。

比如，交易服务器根据不同服务节点传来的同一个事务 ID，使用同一个数据库连接来处理跨越多个服务的交易事务。

之所以强调理论可行，是因为这个方案，其实是与实际生产系统中的压力方向相悖的。一个服务集群里，数据库才是压力最大、最不容易伸缩拓展的重灾区。所以，现实中只有类似ProxySQL和MaxScale这样用于对多个数据库实例做负载均衡的数据库代理，而几乎没有反过来代理一个数据库为多个应用提供事务协调的交易服务代理。

这也是为什么说它更有可能是个伪需求的原因。如果你有充足理由让多个微服务去共享数据库，那就必须找到更加站得住脚的理由，来向团队解释拆分微服务的目的是什么。

在实际应用中并不常见，也几乎没有相应的成功案例，能够查到的资料几乎都来源于十多年前 Spring 的核心开发者Dave Syer的文章“Distributed Transactions in Spring, with and without XA”。

2.使用和切换问题

这么多数据源如何使用？如何切换？ORM框架只允许使用一个数据源，如何和ORM框架集成？即使集成成功了，也会比单一数据源增加开发难度和排查解决问题难度。

3.数据库连接资源管理问题

比如我要对我所在的服务的表执行ddl,我去查看表的事务执行情况，我不知道这个长事务是由哪个系统带来了，我就得挨着去问我的兄弟团队，可能搞了半天我才能执行表的ddl.那你的业务方不把你给打死。

什么你不知道为什么要先看是否有长事务或者表的并发访问情况？那么你先去看看线上执行ddl引起锁表的系列问题吧。

2.多数据源解决方案

让我们自己实现多数据源访问，应该考虑哪些点呢？大家都好好想想，一定要动脑筋思考下！让我做的话，需要解决3个问题，分别是：

配置来源问题：多数据源的配置存储在什么位置？yml文件，配置中心，还是缓存？

创建和管理问题：多个数据源如何创建？如何管理？用什么存储？

使用和切换问题：这么多数据源如何使用？如何切换？ORM框架只允许使用一个数据源，如何和ORM框架集成？

思考完后，不一定非要自己开发，你遇到的问题，别人早就遇到了，并且都有现成的解决方案，可以拿来主义。

业界多数据源实现方案

业界有2种实现方案，分别为：

AOP + ThreadLocal ，如：Mybatis-plus的多数据源(dynamic-datasource)；

语义解析，如：客户端侧：ShardingSphere-Jdbc，服务端侧：ShardingSphere-Proxy，阿里云、腾讯云proxy。

3.Mybatis-plus解决方案

业界多数据源方案有很多种，咱们这次主要对Mybatis-plus多数据源(dynamic-datasource)进行一次深度剖析，首先来看它有哪些特性，然后带着这些特性去看源码。

特性

支持数据源分组，2种负载均衡策略：轮询和随机

支持对JDBC连接的url，username，password加密 ENC()

支持无数据源启动，动态增加删除数据源

支持每个数据库独立初始化表结构schema和数据库database。

支持数据源延迟初始化

提供并简化对Druid，HikariCp，BeeCp，Dbcp2的快速集成

提供 自定义数据源来源 方案（如全从数据库加载）

支持 多层数据源嵌套切换 。

提供 本地多数据源事务方案

提供使用 spel动态参数 解析数据源方案。内置spel，session，header，支持自定义。

1. 使用案例

yml文件添加多数据源配置

spring:
  application:
    name: demo
  datasource:
    dynamic:
      primary: master #设置默认的数据源或者数据源组,默认值即为master
      strict: false #严格匹配数据源,默认false. true未匹配到指定数据源时抛异常,false使用默认数据源
      datasource:
        master:
          url: jdbc:mysql://127.0.0.1:3306/test?useSSL=true&charset=utf8mb4&serverTimezone=Hongkong
          username: root
          password: 123456
          driver-class-name: com.mysql.cj.jdbc.Driver # 3.2.0开始支持SPI可省略此配置
        order:
          url: jdbc:mysql://127.0.0.1:3306/only_db_0?useSSL=true&charset=utf8mb4&serverTimezone=Hongkong
          username: root
          password: 123456
          driver-class-name: com.mysql.cj.jdbc.Driver

service类：

 
@Slf4j
@Service
public class TOrderServiceImpl extends ServiceImpl<TOrderMapper, TOrder> implements TOrderService {
 
    @Autowired
    private TOrderMapper tOrderMapper;
 
    @DS("master")
    @Override
    public Boolean insertMaster(TOrder tOrder) {
        int result = baseMapper.insert(tOrder);
        return result > 0 ? true : false;
    }
 
    @DS("order")
    @Override
    public Boolean insertOrder(TOrder tOrder) {
        int result = baseMapper.insert(tOrder);
        return result > 0 ? true : false;
    }
}

参考资料

Mybatis-plus多数据源深度剖析
Mybatis-plus多数据源深度剖析 - 知乎