共享存储集群DMDSC_共享存储dsc

共享存储集群DMDSC

一.概述

DMDSC 集群是一个多实例、单数据库的系统。多个数据库实例可以同时访问、修改同一个数据库的数据。用户可以登录集群中的任意一个数据库实例，获得完整的数据库服务。数据文件、控制文件在集群系统中只有一份，不论有几个节点，这些节点都平等地使用这些文件，这些文件保存在共享存储上。每个节点有自己独立的联机日志和归档日志，其中联机日志保存在共享存储上，归档日志可以保存在本地存储上也可以保存在共享存储上。

DMDSC 集群主要由数据库和数据库实例、共享存储、DMASM 或 DMASM 镜像、本地存储、通信网络、集群控制软件 DMCSS、集群监视器 DMCSSM 组成。

DMCSS

DM 集群同步服务，使用 DMASM 集群或 DMDSC 集群都必须要配置 DMCSS 服务。在 DMASM 集群或 DMDSC 集群中，每个节点都需要配置一个 DMCSS 服务。这些 DMCSS 服务自身也构成一个集群，DMCSS集群中负责监控、管理整个 DMASM 集群和 DMDSC 集群的节点称为控制节点 (controlnode)，其他 DMCSS 节点称为普通节点 (normal node)。DMCSS 普通节点不参与 DMASM 集群和 DMDSC 集群管理，当 DMCSS 控制节点故障时，会从活动的普通节点中重新选取一个 DMCSS 控制节点。

DMCSS 主要功能包括：写入心跳信息、选取 DMCSS 控制节点、选取 DMASM/DMDSC 控制节点、管理被监控对象的启动流程、集群状态监控、节点故障处理、节点重加入等，DMCSS 还可以接收并执行 DMCSSM 指令。

DMASM

DMASM 是一个专用用来为块设备管理文件的分布式文件系统，并且不是一个通用的文件系统，应用程序只能通过 DMASMAPI 接口访问。DMASM 提供的主要功能包括：

• 分布式管理：支持多台机器并发访问 DMASM 磁盘和文件，提供全局并发控制。
• 磁盘组管理：支持创建和删除磁盘组，将裸设备格式化为 DMASM 格式，并由 dmasmsvr 统一管理；一个磁盘组可以包含一个或者多个 DMASM 磁盘；磁盘组支持在线增加 DMASM 磁盘，实现动态存储扩展。
• 文件管理：支持创建、删除、截断文件等功能；支持创建目录；支持动态扩展文件；文件可以存放在一个磁盘组的多个磁盘中，文件大小不再受限于单个磁盘大小。
• 完善、高效的访问接口：DMASM 文件系统将物理磁盘格式化后，变成可识别、可管理的 DMASM 磁盘，再通过DMASM 磁盘组将一个或者DMASM 磁盘整合成一个整体提供文件服务。

DM 集群监视器 DMCSSM

DMCSSM 与 DMCSS 相互通信，从 DMCSS 处获取整个集群系统的状态信息。DMCSSM 提供一系列管理维护集群的命令。

特性

• 高可用性：只要集群中有一个活动节点，就能正常提供数据库服务。此外，当出现磁盘损坏或数据丢失时，既可以利用其他镜像副本继续提供数据库服务，又可以使用其他镜像副本进行数据恢复。
• 高吞吐量：多个节点同时提供数据库服务，有效提升集群的整体事务处理能力。
• 负载均衡：一方面，通过巧用服务名，用户的连接请求被平均分配到集群中的各个节点，确保连接负载平衡；另一方面，条带化技术可保证写入的数据均匀分布到磁盘组内的不同磁盘中，实现数据负载均衡。

配置文件

与 DMDSC 相关的配置文件包括：

• DMDCR_CFG.INI：是格式化非镜像环境下 DCR DISK、VOTE DISK 和镜像环境下 DCRV 磁盘的配置文件。配置信息包括三类：集群环境全局信息、集群组信息、以及组内节点信息。
• DMDCR.INI：是 DMCSS、DMASMSVR、DMASMTOOL 等工具的输入参数。记录了当前节点序列号以及 DCR 磁盘路径。
• DMINIT.INI：是 DMINIT 工具初始化数据库环境的配置文件。与初始化库使用普通文件系统不同，使用 DMASM 文件系统，必须使用 DMINIT 工具的 control 参数指定 DMINIT.INI文件。
• MAL 系统配置文件：包括 DMMAL.INI 和 DMASVRMAL.INI。
• DM.INI：是 DMSERVER 使用的配置文件。
• DMARCH.INI：是开启本地归档或远程归档时使用的配置文件。
• DMCSSM.INI：是 DMCSSM 监视器的配置文件。

二.DMASM介绍

基本概念

• ASM 磁盘：指经过 DMASMCMD 工具格式化，可以被 DMASMSVR 识别的物理磁盘。ASM 磁盘是组成磁盘组的基本单位，一个块设备只能格式化为一个 ASM 磁盘，不支持分割使用。
• 磁盘组：由一个或多个 ASM 磁盘组成，是存储 ASM 文件的载体；一块 ASM 磁盘只能属于 一个磁盘组。
• ASM 文件（ASMFILE）：在 ASM 磁盘组上创建的文件，称之为 ASM 文件。一个 ASM 文件只能保存在一个磁盘组中，但一个 ASM 文件的数据可以物理存放在同一磁盘组的多个 ASM 磁盘中。DMASM 文件路径都以“+GROUP_NAME”开头，使用“/”作为路径分隔符，比 如 ， “+DATA/ctl/dm.ctl”表示 dm.ctl 文件，保存在 DMASM 文件系统的“DATA”磁盘组的 ctl 目录下。
• 簇（Extent）：簇是 ASM 文件的最小分配单位，一个簇由物理上连续的一组 AU 构成。簇的大小为 4， 也就是说一个 ASM 文件至少占用 4 个 AU，也就是 4M 的物理存储空间。
• 数据分配单元（Allocation Units，简称 AU）：DMASM 存储管理的最小单位。AU 的大小为 1M，为系统固定大小，以 AU 为单位将磁盘划分为若干逻辑单元，ASM 文件也是由一系列 AU 组成。
• DCR 磁盘（DCR DISK）：DM 集群注册表（DM Clusterware Registry，简称 DCR）磁盘专门用于存储 DCR 文件。DCR 文件记录了存储、维护集群配置的详细信息。整个集群环境共享 DCR 磁盘信息， 包括集群（DMDSC、DMASM、DMCSS）资源、实例名、监听端口、集群中故障节点信息等。
• 表决磁盘（VOTE DISK）：表决磁盘专门用于存储 VTD 文件。VTD 文件记录了集群成员信息。使用 VOTE DISK 来确定哪些 DMDSC 节点应该被踢出集群。在集群的不同状态（启动、节点故障、节点重加入等）DMCSS 通过 VOTE DISK 传递控制命令。VOTE DISK 必须存储在集群中所有节点都可以访问 到的共享存储中，并且只支持保存在 DMASM 文件系统管辖范围之外的共享存储上。在一个 集群环境中只能配置一个表决磁盘。

主要部件

DMASMCMD

DMASMCMD是 DMASM 文件系统初始化工具，用来将块设备格式化为 ASM 磁盘，并初始化 DCR DISK、VOTE DISK。

DMASMSVR

DMASMSVR 是提供 DMASM 服务的主要载体，每个提供 DMASM 服务的节点都必须启动一 个 DMASMSVR 服务器，这些 DMASMSVR 一起组成共享文件集群系统，提供共享文件的全局并发控制。DMASMSVR 集群中，只有一个控制节点，控制节点以外的其他节点叫做普通节点，DMASMSVR 控制节点由 DMCSS 选取。

DMASMAPI

DMASMAPI 是 DMASM 文件系统的应用程序访问接口，通过调用 DMASMAPI 接口，用户 可以访问、操作 ASM 文件。

DMASMTOOL

DMASMTOOL 是 DMASM 文件系统管理工具，提供了一套类 Linux 文件操作命令，用于 管理 ASM 文件。

三.DMDSC 搭建

1.基于 DMASM 的 DMDSC

典型的基于 DMASM 的 DMDSC 一般具备两个 DMDSC 节点。

1.环境准备

从硬件、存储设备、操作系统、网络配置、用户准备、目录规划和磁盘准备这 7 个方 面进行准备。

2.准备配置文件 DMDCR_CFG.INI

​ 将搭建的配置文件分别存放于对应机器的目录下，文件配置相同。

3.在主机器使用 DMASMCMD 工具初始化所有磁盘

4.准备 DMASVRMAL.INI

准 备 DMASM 的 MAL 配置文件 DMASVRMAL.INI ，分别保存到主机和备机的对应目录下。如：/dm/dmdbms/dsc_config/DSC0。

5.准备 DMDCR.INI

主节点机器配置 dmdcr.ini，dmdcr_seqo 为 0。db1 机器配置 dmdcr.ini，dmdcr_seqo 为 1。

6.启动 DMCSS、DMASM 服务程序

7.创建 ASM 磁盘组

使用 DMASMTOOL 工具创建 ASM 磁盘组

8.准备 DMINIT.INI

在主机上 准 备 DMINIT.INI 配 置 文 件 ， 保存到对应目录下。

9.初始化DB

使用 DMINIT 初始化一个节点的数据库环境。

10.使用拷贝的方式配置另外一个节点的数据库环境

11.启动数据库服务器

12.配置并启动 DMCSSM 监视器

配置 DMCSSM.INI 文件，创建 DMCSSM 的日志存放路径，启动 DMCSSM 集群监视器。启动之后，可使用 show 命令在 DMCSSM 监视器中查看集群状态信息。

2.基于 DMASM 镜像的 DMDSC

一个典型的基于 DMASM 镜像的 DMDSC 一般具备两个 DMDSC 节点。使用块设备的真实物理磁盘做共享存储，并使用 DMASM 镜像来管理块设备。同样进行前期的准备，然后进行以下步骤搭建：

1.准备配置文件DMDCR_CFG.INI

将此配置文件保存到主节点的对应目录下，与普通 DMDSC 环境相比，镜像环境中的 DCR_DISK_LOAD_PATH 不再指向具体的磁盘，而是 DCRV 磁盘所在的目录/dev_DSC_HDD。

2.初始化并创建磁盘组

在主节点机器使用 DMASMCMDM 工具初始化所有磁盘并创建 DCRV系统磁盘组，DCRV 系统磁盘组中的磁盘数只能为 1，3，5 其中之一。

3.准备 DMASVRMAL.INI

为各节点准备 DMASM 的 MAL 配置文件 DMASVRMAL.INI，规则与普通的 DMDSC 环境一样，保存到对应目录。

4.准备 DMDCR.INI

为各节点配置 DMDCR.INI 文件，同样注意 DMDCR_PATH 不再指向具体的磁盘而是目录/dev_DSC_HDD。

5.启动 DMCSS、DMASM

启动 DMCSS、DMASM 服务程序，在镜像环境中对应的执行码为 DMCSS，DMASMSVRM。

6.创建 ASM 磁盘组

使用 DMASMTOOLM 工具创建 ASM 磁盘组，选择一个节点启动 DMASMTOOLM 工具：

./dmasmtoolm dcr_ini=/home/dmdba/dmdsc/data/DSC01/dmdcr.ini

创建一个 DATA 磁盘组和一个 LOG 磁盘组，每个磁盘组包含 3 个副本。

7.准备 DMINIT.INI

准备 DMINIT.INI 配置文件，保存到对应目录下，这里 创建 3 副本的数据和联机日志文件。

8.初始化数据库环境

选择一个节点，启动 DMINIT 初始化数据库，执行完成后，生成配置文件 DM.INI 和 DMMAL.INI。使用拷贝的方式配置另外一个节点的数据库环境。例如：将 109 上 初 始 化 库 时 产 生 的 DSC02 节 点 的 配 置 文 件 （ 整 个 /home/dmdba/dmdsc/data/DSC02 文 件 夹 ） 复 制 到 107 机 器 的 /home/dmdba/dmdsc/data/DSC02/目录下。之后就可以启动数据库服务器了。

9.启动服务器

分别启动两个节点的服务器。

10.配置并启动 DMCSSM 监视器

3.检验是否搭建成功

一 .使用 DMASMTOOLM 登录到 ASM 文件系统，通过 ls 命令查看磁盘组信息是否正确

[dmdba@test109 bin]$ ./dmasmtoolm

dcr_ini=/home/dmdba/dmdsc/data/DSC01/dmdcr.ini

ASM>ls

二.通过 lsdsk 命令查看磁盘详细信息是否正确

ASM>lsdsk

三.通过 DIsql 工具登录服务器查看 V$ASMDISK 视图中的信息是否正确

SQL> select * from v$asmdisk;

四.备份还原

DMDSC 集群的表备份还原与单节点没有任何区别。表空间备份只需要访问属于这个表空间的数据文件，并不需要备份归档日志，因此 DMDSC 集群的表空间备份与单节点没有任何区别。表空间还原要求将表空间数据恢复到最新状态，需要重做归档日志，但 DMDSC 集群中本地归档往往是保存在本地磁盘中的，因此如何访问其他节点生成的归档日志，是 DMDSC 集群需要解决的问题。达梦数据库提供了远程归档（REMOTE ARCHIVE）功能，解决了 DMDSC 集群备份还原过程中访问其他节点归档日志文件问题。

远程归档（REMOTE ARCHIVE），是将归档目录配置在远程节点上，采用双向配置的方式。双向配置远程归档就是两个节点将自己的远程归档相互配置在对方机器上。集群中所有的节点，都拥有一套包括所有节点的，完整的归档日志文件。

具体有两种配置方式：一是共享本地归档的远程归档，即将远程归档目录配置为另一节 点的本地归档目录，以此来共享它的本地归档日志文件；二是通过 MAL 发送的远程归档， 即将写入本地归档的 REDO 日志信息，通过 MAL 发送到远程节点，并写入远程节点的指定 归档目录中，形成远程归档日志文件。

参考资料：https://eco.dameng.com