华为云各行业数据库服务整体解决方案、数据库迁移上云解决方案_游戏行业数据备份解决方案

一、数据库历史回顾和趋势：云化，融合是方向

数据库技术是信息技术领域的核心技术之一,几乎所有的信息系统都需要使用数据库系统来组织、存储、操纵和管理业务数据。数据库领域也是现代计算机学科的重要分支和研究方向。数据库技术于60年代诞生，70年代兴起关系型数据库和SQL语言，80年代发展SQL事实标准化，也是I&O的黄金岁月。90年代转型使得互联网数据爆发，2000年代新玩家 4V • NoSQL流行，当前Scale-Out也成为主流，相信将来会有更多的创新和发展。

基于华为累积多年的数据库研发、搭建和维护经验，结合数据库云化改造技术，大幅优化传统数据库，为您打造更高可用、更高可靠、更高安全、更高性能、即开即用、便捷运维、弹性伸缩的数据库服务，拥有容灾、备份、恢复、安防、监控、迁移等全面的解决方案。

 不同类型的数据库基于不同的理论基础，满足不同的数据管理、处理需求

二、当前主流的关系型数据库系统架构对比

三、华为云数据库服务全景概况

SQL数据库：面向传统 OLTP 数据库业务

NoSQL数据库 ：面向海量扩展业务

1、数据库RDS 服务的架构和关键功能

关键功能特性及说明

• SLA：99.95%，服务中断时间不超过5分钟/月，1小时/年
• 安全：多种安全策略保护数据库和用户隐私，例如：VPC、子网、安全组、 SSL；搭配数据库安全服务DBSS提供事前、中、后安全防护，数据脱敏及审 计服务。
• 数据迁移：提供从自建库或者其它云离线和在线迁移能力
• 高可用：主备双机热备，一旦主数据库实例发生故障导致不可用，即可在很 短时间内切换到备用数据库实例上
• 监控：实时监控数据库实例及引擎的关键性能指标，包括计算/内存/存储容量 使用率、I/O 活动、数据库连接数、QPS/TPS、缓冲池、读/写活动等
• 弹性伸缩： 水平伸缩：增删只读实例（Proxy 读写分离即将上线），搭配 DDM 实现分库分表 水平扩容，垂直伸缩：CPU/内存变更、存储在线分钟级扩容
• 备份与恢复： 备份：支持自动备份（长达732天）、手动数据备份
• 恢复：支持PITR恢复，表级对象恢复
• 日志管理：查询数据库错误日志和慢 SQL 日志及 binlog 日志下载
• 参数配置：管理页面在线修改生效配置参数和参数组配置管理功能
• 云DBA 智能运维：赋予用户对实例进行全面分析的能力，一键诊断问题 SQL ,实时诊断分析 RDS 的运行状态及提交诊断报告；应急救护快速解决故 障。

 2、云数据库 MySQL 功能特性

GTID 约束放开

• 支持 create table…select…
• 支持显示事务 create temporary table…
• 5.5 到 5.6 平滑迁移

线程池(thread pool)

• 基于 CPU 规格，创建有限的线程，作为常驻线程池 组 ，减少线程切换和内存消耗
• Connection 按优先级调度，尽可能让一个事务快速 结束，而不是让众多的事务同时展开，缓慢执行

多线程复制(MTS)

• 在5.6中引入 MTS，基于逻辑时钟多线程复 制，降低复制延迟，减少 RTO。

MyISAM 透明转换

• 透明转换成 InnoDB，解决 MyISAM 中的问题
• 无需应用改造
• 提供自由开关

权限控制

• 限制 reset master; reset slave;
• 限制 SET PASSWORD 修改内置账号
• 限制 kill 内部线程
• 限制 drop, alter, update 系统库表

备份锁

• 内核支持 backup lock 锁
• 提供 have_backup_locks 参数
• 长事务不会阻塞备份

性能相关

• SQL aggregate 下推
• double-write buffers 并行化
• 增强 adaptive data page flushing 算法
• page cleaners 并行化增强

运维相关

• root 账号 kill 其他账号的线程
• 查看单个线程的 CPU、内存占用情况
• 查看表、索引的统计信息  

3、云数据库 PostgreSQL 介绍

• 多样化的数据类型

不仅支持常见的字符、数字类型，还 包括数组、空间数据类型，网络数据 类型等，另外支持自定义数据类型 

• 编程接口和语言

ODBC / JDBC / Libpq PL / Perl、plPHP、PL/Python、PL/Ruby、 PL/Tcl 等

• 高安全性

字段加密 基于 DB / Schema / 表/列的权限控制

• NoSQL 兼容

基于 SQL 支持 JSON、XML 等非结 构化数据类型

• 强大的并发控制

4种标准的事务隔离等级 B-tree/GiST/GIN/SP-GiST 索引 表级锁/行级锁/建议锁

• 使用 PG 数据库的企业

平安科技 / 去哪儿 / Instagram / 金山 / 百度

• 云数据库 PostgreSQL 增强版

1. 高度兼容 Oracle语法：高度兼容 Oracle、超低数据库及业务改造成本，数据类型、内置函数、全面 SQL 语法、存储过 程、匿名块、高级包、系统视图、完整支持分区 表、存储过程事务管理、表空间等 200+项。
2. 成本低：超高性价比，无需 License 费用成本节约 70%+
3. 安全合规：国产化安全认证加密算法增强（ SHA-256）、插件权限优化、用 户组权限管理规则优化
4. 易用性提升：一键式 Oracle 模式切 换、数据订阅、动态修 改端口
5. 更强性能：并行查询提速、支持基于 LLVM 的 JIT 编译加速
6. 可靠性增强：按时间点恢复、高智能 HA、数据迁移数据校验

4、企业级高扩展海量存储分布式数据库: Taurus 

计算存储分离、云化架构的企业级云数据库

• Taurus 数据库核心优势

超高性能 ：写300 KQPS 、读1000 KQPS

高扩展性：15只读副 本，100T 存储

高可靠性：跨AZ部 署，数据 三副本， 99.99%可 用性

高兼容性：MySQL 兼容，结 合 DRS 从MySQL 在线迁移

超低成本：1/10的 RDS MySQL 成本

• 应用场景

金融、娱乐：高吞吐量、大数 据量处理

手游、电商：高可用、弹性 伸缩能力

电信、互联网：高可靠、异地 容灾

• 客户价值

100T 存储、免分库分表，解决海量数据问题

完全兼容 MySQL，无需应用改造

15个只读副本，读写分离，解决性能扩展问题

跨AZ部署，异地容灾，解决高可靠性问题

5、高斯数据库-分布式企业级数据库

• 高性能

OLTP：单机百万TPMC，性能超越业界标杆对标产品 30%，超越开源mysql数据库5-8倍；

OLAP：全并行架构及列存向量化引擎，实现万亿数据 关联分析秒级响应。

• 高扩展

OLTP：分布式线性扩展能力，TPC-C（10%分布式事 务）扩展比大于0.8；

OLAP：开放架构，按需水平扩展，可扩展到2048节点；

• 易使用

易开发：兼容标准ANSI SQL2003，业务开发简单；

易迁移：自研数据库迁移工具，支持核心数据库平滑迁 移；

易使用：数据库一体机软硬结合，深度调优，开箱即用；

6、文档数据库DDS服务：存储计算分离的文档数据库服务

• 架构演进

•  架构优势

• 文档数据库DDS服务：优势场景

• 数据复制服务 DRS - 迁移过程业务无中断

导航式数据迁移， 客户易操作

公有云项目拓展关键场景--数据库迁移

支持各种数据库来源

• 友商云（三A云，T云）
• 本地IDC
• 云内ECS自建数据库
• 云内RDS

支持各种网路方式

• 公网
• VPN
• 专线
• 云内VPC 

 支持各种数据库

• MySQL
• SQL Server
• PostgreSQL
• MongoDB

支持各种云形态

• 公有云
• 公有专属云
• 公有全栈云

数据自由流动

• 入云
• 出云

 DRS为在线迁移场景量身打造，确保业务平滑上云

业务零中断

• 在线迁移技术
• 数据实时同步
• 迁移中业务无需中断

数据零丢失

• 断点续传，故障重试
• 迁移数据和索引等
• 迁移后对象、数据对比

低门槛

• 引导式流程，跟着指引操作
• 详细、友好的信息提示
• 预检查让迁移成功有保障

低风险

• 预检查让问题提前识别
• 迁移过程时间预估
• 关键数据库参数迁移

四、数据库迁移解决方案-为客户数据上云保驾护航

1、背景

• 客户业务7*24在线
• 访问量大和数据量大，以**科技为例，单库数据量近2TB，压 力1000TPS，完成30套核心数据库在线迁移。
• 业务流量和压力大，可能在集中的时间段出现高于日常流量 数倍的业务高峰 

2、客户痛点

• 数据迁移实施过程中业务不能中断；
• 割接时数据不能出问题；

3、解决方案

• 迁移业务场景调研，数据库信息收集；
• 评估数据在线迁移方案、测试验证和方案确定；
• 迁移实施、数据校验和割接；

4、数据库迁移流程

 

5、数据迁移方案和基线 

结合客户项目经验， 形成评估模型和算法，指导评估迁移项目

五、华为云数据库行业解决方案

1、金融行业：金融版+容灾+数据库安全防护能力

客户痛点

• 业务需要使用金融专属区，实现资源隔离
• 需要实现异地灾备，保障可用性，满足监管要求
• 需要满足数据存储高可用一致性，保证数据0丢失
• 海量影像、文件等非结构化数据存储需求，需要轻松实现弹性扩展
• 对数据安全性要求极高，需要随时保障数据资产安全。

华为云数据库的解决方案

• 北上深打造金融专区，满足两地三中心架构
• 提供跨region数据安全灾备，满足金融合规监管要求
• MySQL金融版采用Paxos协议实现数据强一致性，保证数据0丢失
• DDS增强版存储计算分离，可轻松实现海量存储，可提供秒级弹性扩容
• DBSS提供数据脱敏、数据库审计、防拖库和防注入功能，保障云上数据库安全
• 上线Proxy中间件，实现弹性读写分离
• 上线分布式数据库Taurus，满足企业分布式高性能需求
• DRS提供异构数据迁移能力，方便企业快速上云

典型构架

2、汽车行业：业务复杂，数据种类多样，多数据库协同 

行业背景和业务特征

• 高吞吐高并发：数据采集维度多，采集走起短。车辆轨迹、状态等数据需要实时 上报，数据量的增长与汽车数量成指数式增长。
• 业务流量变化大：数据并发写入量和车辆的在线数量紧密相关，
• 数据种类杂：车联网需求复杂，所产生的数据种类也比较多，无一种数据库能满 足所有需求，需要多种数据库协同配合，如何使用好数据库将是业务成败关键。 

客户痛点

• 数据类型多样，需要自己维护多种数据库系统，维护成本高;
• 传统数据库部署存在安全隐患，数据泄露或被窜改风险极大;
• 车联网数据增量快，写入并发高，扩容成本与实施难度巨大。以北汽100W 辆车为例，每日新增数据2.8TB，半年数据存量0.5PB;
• 故障数据结构不固定，写入并发大，业务查询场景复杂;

华为云数据库的解决方案

• DBSS+DDM+RDS——业务场景：用户数据、车辆数据，配置数据等关系型数据。 竞争力：企业级数据库安全服务DBSS，提供关键数据审计和防SQL注入。 DDM+RDS架构动态弹性业务能
• 增强版DDS MongoDB——业务场景：LBS地理位置数据，日志数据、车辆故障告警等非结构化数据。 竞争力：DDS增强版本Mongo在和友商PK测试中表现优异，性能数倍于友商。
• 时序数据库-规划中——业务场景：轨迹数据、电池数据，监控数据等需要车载设备上报的数据。

 典型构架：

3、互联网行业：分布式架构，读写分离

 行业背景

• 并发量大和数据量大，以热门产品为例，微博、知乎、头条、抖音等产品用户 数上亿，秒拍和映客在巅峰时期也曾达到上亿，XX科技业务并发连接数上万， 访问流量1GB/s以上，单库数据量近2TB，高规格数据库实例数上百
• 业务流量变化大，可能在集中的时间段出现高于日常流量数倍的业务高峰，典 型场景包括：明星热点、火爆头条、开服、秒杀、双11

客户痛点

• 请求量大和数据量大，单机部署的数据库事务处理能力无法满足要求
• 无法预测用户流量以及产生的数据量，业务高峰时客户体验会受到影响，甚至 要停服扩容，对资源弹性扩展能力要求高
• DBA人力短缺，需要管理、维护数百个数据库实例

解决方案

• 对于中型互联网客户业务，通过在数据库层开启读写分离的Proxy机制，动态 添加只读实例，并搭配DCS缓存服务，分担数据库访问压力，满足数据库资源 处理能力弹性扩展的要求
• 对于大型互联网客户业务， 通过采用DDM分布式数据库中间件，水平弹性扩 展，分散数据库单点访问压力，满足客户大数据量和高并发访问的要求；过 CloudDBA进行数据库性能诊断、异常跟踪、SQL自动审核，并提供索引推荐和 数据库优化建议，将数据库管理和运维操作简单化。 

典型部署构架

 

 中型互联网数据库解决方案

• 小规模（<500QPS或100TPS，读用户<100，写用户<10）：在单库中通过读写 分离Proxy提升并发读的性能
• 中规格（<5000QPS或1000TPS, 读用户<5000，写用户<100）：垂直分库，将 不同的业务分布到不同的数据库
• 搭配DCS缓存服务，分担数据库访问压力

大型互联网数据库解决方案

• 大规模以上（10K+QPS，10K+TPS 读用户10K+，写用户1K+）：数据分片，将数 据表分到不同的数据库中
• DDM协议兼容MySQL，水平弹性扩展，分散数据库单点访问压力 3. 方便的弹性和规格扩容，轻松应对业务规模扩大

规划解决方案

• 提供Scale-Out、分布式、多租户，共享存储的关系型数据库架构
• 可靠性超越PolarDB，持平Aurora：跨AZ部署，99.99%可用性
• 扩展性超越Aurora，持平PolarDB：15只读副本，100T存储

Proxy和DDM适用性评估

4、游戏行业：业务弹性扩展，同时关注DDS服务机会点

客户痛点（私有云部署）

• 资源的弹性伸缩，需要停服手工操作，不但需要停服，而 且风险极高。
• 没有数据库的故障自动切换机制或能力不足，主实例故障， 修改应用配置，停服时间长。
• 很少设置专职DBA岗位，遇见数据库回档场景，很难满足 运营的诉求。

游戏行业华为云数据库的解决方案

• 高性能 RDS MySQL性能超越阿里云；DDS增强版性能是友商的3倍以上。
• 弹性伸缩 RDS和DDS支持磁盘的弹性扩容，对业务无影响。
• 一键回档 (游戏业务数据诉求) RDS支持表级和实例别任意时间点的回档。
• 快读开服 RDS和DDS，可使用快照备份创建新实例，实现快速开服。
• 故障切换 RDS主备故障秒级别切换，对业务透明，应用配置无需改动。 

典型游戏架构

 

游戏行业业务和数据特点

• 用户信息和交易数据存储在MySQL中。
• 角色装备数据及游戏的过程日志存储在DDS中。
• 游戏业务变化频繁，对于数据表需要做结果变更。DDS修改表结构对业务无影响。  

六、 华为云数据库业务最佳实践