SequoiaDB 兼容mysql学习(概述)

一、 SequoiaDB概述

1.1 概述

        SequoiaDB 巨杉数据库是一款开源的金融级分布式关系型数据库，主要面对高并发联机交易型场景提供高性能、可靠稳定以及无限水平扩展的数据库服务。

       SequoiaDB 巨杉数据库支持 MySQL, PostgreSQL 和 SparkSQL 三种关系型数据库实例、类 MongoDB 的 JSON 文档类数据库实例、以及 S3 对象存储与 POSIX 文件系统的非结构化数据实例。

1.2 特性

• 完全兼容传统关系型数据，数据分片对应用程序完全透明
• 高性能与无限水平弹性扩展能力
• 分布式事务与 ACID 能力
• 同时支持结构化、半结构化与非结构化数据
• 金融级安全特性，多数据中心间容灾做到 RPO = 0
• HTAP 混合负载，同时运行联机交易与批处理任务且互不干扰
• 多租户能力，云环境下支持多种级别的物理与逻辑隔离

1.3 整体框架

        SequoiaDB 巨杉数据库作为分布式数据库，由数据库存储引擎与数据库实例两大模块构成。

       其中，数据库存储引擎模块是数据存储的核心，负责提供整个数据库的读写服务、数据的高可用与容灾、ACID与分布式事务等全部核心数据服务能力。

1.3.1 数据库存储引擎

        SequoiaDB 巨杉数据库存储引擎采用分布式架构。集群中的每个节点为一个独立进程，节点之间采用TCP/IP协议进行通讯。

        同一个操作系统可以部署多个节点，节点之间采用不同的端口进行区分。

SequoiaDB 巨杉数据库的节点分为三种不同的角色：协调节点、编目节点与数据节点。

协调节点

       协调节点不存储任何用户数据。作为外部访问的接入与请求分发节点，协调节点将用户请求分发至相应的数据节点，最终合并数据节点的结果应答对外进行响应。

编目节点

       编目节点主要存储系统的节点信息、用户信息、分区信息以及对象定义等元数据。在特定操作下，协调节点与数据节点均会向编目节点请求元数据信息，以感知数据的分布规律和校验请求的正确性。

数据节点

       数据节点为用户数据的物理存储节点，海量数据通过分片切分的方式被分散至不同的数据节点。在关系型与 JSON 数据库实例中，每一条记录会被完整地存放在其中一个或多个数据节点中；而在对象存储实例中，每一个文件将会依据数据页大小被拆分成多个数据块，并被分散至不同的数据节点进行存放。

1.3.2 核心概念

复制组

        由于采用 PC 服务器内置物理盘，当前大部分分布式数据库无法在硬件设备出现故障时保证单一设备中数据的可靠性与持久性。因此 SequoiaDB 巨杉数据库采用数据多副本存放的机制，将编目节点与数据节点所存放的数据以节点为单位进行复制，多个拥有相同数据拷贝的节点被称为数据复制组。一般来说，复制组、数据分片和数据分区均代表同样的含义。

副本

       每个复制组内的多个节点被称为数据副本，在 SequoiaDB 巨杉数据库中每个复制组最多支持 7 个数据副本。

       由于复制组内的逻辑节点互为备份，配置了多个数据副本的 SequoiaDB 巨杉数据库原生提供高可用与容灾机制。用户可以通过添加复制组或分区的数量实现整个存储引擎集群的水平弹性扩展，也可以通过添加复制组内副本的数量实现更高的安全性以及提升读写分离的并发性。

一致性

       复制组内部的多个数据副本之间可以同时使用强一致或最终一致的数据同步方式，用户可以基于节点或表（集合）级别进行相应的配置。整个集群内部数据的 ACID 与分布式事务完全由数据库存储引擎支持。

1.3.3 整体架构

        SequoiaDB 巨杉数据库集群分为数据库存储引擎与数据库实例。

        在当前版本中，SequoiaDB 巨杉数据库支持多达 6 种不同数据服务实例，包括针对结构化数据的 MySQL、PostgreSQL与 SparkSQL 实例；针对半结构化数据的 MongoDB 实例；以及针对非结构化数据的 S3 对象存储与 Posix 文件系统实例。

        SequoiaDB 巨杉数据库的数据库存储引擎则包括协调节点、编目节点与数据节点三种类型的服务。数据节点与编目节点各自以多副本的形式构成一个个复制组。

      数据库存储引擎与数据库实例均支持水平弹性扩展，任何角色的节点均提供高可用冗余机制，不存在单点故障的可能。