【hcie-cloud】【2】华为云Stack解决方案介绍、缩略语整理 【下】_华为的cdl

华为文档获取方式、云计算发展背景、坚实基座

看下面这篇文章
【hcie-cloud】【1】华为云Stack解决方案介绍、华为文档获取方式 【上】

华为云Stack，政企只能升级首选

智能数据

湖仓一体，让业务洞见更准，价值兑现更快

• 华为云Stack FusionInsight提供湖仓一体的智能数据湖解决方案，包括MRS云原生数据湖、DWS云数据仓库、DGC数据湖治理中心、GES图引擎等产品，用于离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入治理、图计算等海量数据分析场景，助力政企客户实现一企一湖、一城一湖，业务洞见更准，价值兑现更快！
• 近年来FusionInsight深入各行业客户需求，覆盖政府、安平、金融、泛企业等行业，服务于全球 60 多个国家 3000 多家客户。市场方面，在2021年IDC相关评估中，FusionInsight连续3次蝉联中国大数据市场份额第一，其市场份额和技术实力保持双领先，在2021年Frost&Sullivan评估中，FusionInsight在创新、成长及基础能力全面领先大数据厂商。技术方面经过不断创新，在大数据开源社区中，Hadoop贡献已达全球TOP2，Spark贡献已达全球TOP4，不断引领技术潮流。
• FusionInsight在2022年H1推出最佳实践深度赋能轻咨询课程，从架构设计、二次开发、系统维护三个维度，全方位赋能客户掌握大数据核心技术，让客户会用FusionInsight，用好FusionInsight。

MRS：一个架构可构建三种数据湖，业务场景更丰富

• FusionInsight MRS云原生数据湖让客户在一个架构上实现“三种湖”，满足客户建设数据湖过程中不同各阶段的需求。
• 其中离线数据湖，为客户在离线批量处理数据方面提供企业级数据平台；实时数据湖则是面向实时数据，提供从数据接入到使用的全链路实时处理能力；逻辑数据湖则是面向散落在各种数据源，或者无法建设统一数据平台的客户，提供了物理分散、逻辑集中的逻辑湖解决方案。在三种数据湖之外，MRS还提供了多种数据集市，满足客户各类数据分析需求。

离线数据湖：提供云原生、湖仓一体的企业级数据湖

• 数据在产生后，接入入湖到使用，通常需要超过15分钟以上。对于数据时效性要求不高的场景，离线数据湖在处理GB级以上的数据具有一定优势，数据一般采用离线数据湖支撑的批量接入、分析、查询等工作。离线数据湖提供企业级数据湖平台，集约化建设加速一企一湖构建。企业级数据胡并具有如下特点：
  • 滚动升级：在线滚动升级，一次升级/重启少量节点，循环滚动直至集群所有节点升级到新版本，核心组件业务中断时间从12小时到0中断
  • 多租户管理：可视化的多级租户管理，与企业组织结构相匹配，一站式管理租户的计算、存储和组件资源，支持用户级别资源隔离，支持多组件多实例部署
  • 超大规模调度：自研Superior超级调度器，具有全局的资源视图，较开源Capacity性能在同步调度快30倍，在一步调度快2倍，资源利用率可达98%；支持3万（实测6万）超大单集群资源调度，是开源的3倍
• 同时结合华为云Stack提供云原生数据湖，具有如下特点：
  • 弹性伸缩：虚拟机、裸金属多形态部署，资源弹性伸缩分钟级发放；基于擎天加速卡100%释放算力性能；千万级网络PPS转发能力提供高性能I/O能力
  • 存算分离：全局一份数据支持多引擎使用，数据共池统一存储在OBS云存储，实现多引擎、多协议共享，缩短数据加工链路，数据不出湖；EC算法替代3副本，存储利用率从33%提升到80%+；ScaleOut横向扩展，集群带宽随节点数增长，性能高出友商1.25倍+
  • 容灾备份：提供两地三中心方案，保障机房级、数据中心级安全可靠性
    该能力在中国移动通信集团广东有限公司（以下简称“广东移动”）一直致力于拓展大数据应用，早在2015年10月便启动了大数据平台建设工作，并在2016年建立子公司统一的大数据生态。通过引入华为云FusionInsight，其依托大数据平台来实现内部业务效率提升和外部用户服务。经过近五年的建设，广东移动大数据集群规模已超2500节点，存储容量达到80PB，覆盖移动用户数超1.3亿，是全国运营商领域覆盖用户数量最多，规模最大以及技术领先的大数据平台。其依托数据平台高可靠、高并发、快速组装应用服务的能力，广东移动为各行各业研发了多个行业解决方案，全面支撑了包括各类政务、民生等工程的应用服务。

实时数据湖：自研CDL引擎，打通实时数据湖的“最后一公里”

• 对于数据时效性要求高（1分钟以内为实时，1-15分钟之内为准实时）的场景，实时数据湖提供实时集成更新同步，实时流式处理引擎，以及实时OLAP等端到端实时能力，让数据时效从T+1走向T+0
• 竞争力：
  • 实时集成更新
    • 易集成：自研CDL让数据实时集成，兼容常见OLTP数据库，支持实时同步到数据湖，打通“最后1公里”
    • 支持事务：支持数据的Upsert和Merge，更新删除性能较传统方案提升10倍+；分散入湖降低所需资源
  • 实时OLAP
    • 高性能：自研HetuEngine具有物化视图、ORC Cache等优化，交互式查询性能较传统方案高50%
    • 全自助：统一SQL分析，从传统设计->开发，到自助式分析，缩短数据准备链路和时间。
      对于数据时效性要求高（1分钟以内为实时，1-15分钟之内为准实时）的场景，实时数据湖提供实时接入、实时流式处理引擎、实时OLAP等端到端实时处理能力，支持的实时的接入、分析、查询等工作。

逻辑数据湖：通过自研HetuEngine实现数据湖与数仓协同，打破数据“墙”

GaussDB(DWS)：守护高价值数据，大型企业数据分析刚需

DGC数据湖治理中心

• DGC数据湖治理中心：全链路数据治理工具，让开发者轻松驾驭数据
  • 一站式平台
  • 一站式完成数据全生命周期的开发治理工作，数据治理提效7倍+
  • 数据湖统一管理
  • 支持接入40+数据源和华为云各类基础数据服务
  • 支持模型资产沉淀
  • 构筑行业知识库，通过模板一键导入导出能力复用数据资产和模型，将原有1个月的数据建模工作缩短到1天以内
  • 支持多云部署
  • 支持混合云和公有云部署，灵活支撑建设需求
  • DGC提供在线学习课程，在线学习快速掌握DGC核心能力

GES图引擎服务

• GES图引擎服务：纯国产自研、分析查询一体化、大规模高性能
• 一站式图数据库、图引擎产品
  • 集图数据库和图分析引擎一体化的产品
  • 具备完善的图分析、图查询、图可视化能力
  • 中国首个商用的、拥有自主知识产权的原生图产品
• 分析查询一体化
  • 一份数据做两件事：查询和分析一体化
  • 支持Cypher和Gremlin两种主流图查询语言，原生Rest API，开源接口兼容
  • 30+高性能算法，覆盖多场景分析计算，具备10+图神经网络和图嵌入算法
• 大规模、高性能
  • 支持千亿点、万亿边规模大图
  • 查询和算法性能优于业界竞品，6跳查询秒级响应，多种算法在大图计算上表现优秀
• 简单易用，支持no-code可视化分析
  • 支持可视化编辑、实体的下钻等图可视化分析探索
  • 向导式算法操作及算法结果的可视化呈现分析
• 自研内核，多次斩获国际大奖

GaussDB(for openGauss)：金融级分布式数据库

• GaussDB(for openGauss)是华为公司自主研发的新一代企业级分布式数据库，支持x86和Kunpeng硬件架构，基于Share-nothing架构，提供高吞吐强一致性事务处理能力、两地三中心金融级高可用能力、分布式高扩展能力、大数据高性能查询能力，可广泛应用于金融、电信、政府等行业关键核心系统。

• GaussDB(for openGauss)的分布式架构体现在它天然具备数据分片和并发执行能力，首先GaussDB(for openGauss)的多个CN节点均可以独立接收业务读写请求，经过SQL解析将优化的执行计划分发到各个Data Node节点并发执行，同时通过GTM(Global Transaction Manager)实现对分布式事物的支持，保证整个事物在并发执行过程的强一致性。

• 分布式架构为GaussDB(for openGauss)带来如下优势：

  • 1、高性能，GaussDB(for openGauss)在保证强一致性事物的前提下，可以提供极高的吞吐能力，在TPCC基准测试中，基于鲲鹏2路服务器，32节点集群可达1800万tpmC
  • 2、高可用，集群所有Data Node均采用多副本保证可靠性，集群内故障可以快速HA，业务基本不受影响，同时GaussDB(for openGauss)提供了跨AZ高可用和两地三中心容灾方案，为客户的业务提供全方位的可靠性保障
  • 3、高扩展，GaussDB(for openGauss)集群可以方便的通过横向扩容提升集群的整体性能和容量，扩容无需停止数据库业务，最大支持1000+节点，且性能随节点扩容基本达到线性

• 同时，华为数据库服务提供了全方位的GaussDB(for openGauss)集群集群管理监控能力，包括租户自助管理和后台运维管理，大幅简化客户数据库运维复杂度。

• 华为数据管理服务，为华为云数据库提供基于B/S架构的数据库开发、运维、智能诊断一站式云上数据库管理平台，用户可以方便的在浏览器端使用DAS登录和操作云上数据库，进行SQL开发和数据库运维管理。

• DAS服务可以支持多种数据库接入和管理，包括华为RDS for MySQL、PostgreSQL、GaussDB(for MySQL)、GaussDB(for openGauss)等，版本上分为标准版、DBA版和企业版。

• DAS标准版提供数据库管理的基本能力，包括库、表创建、SQL执行窗口、SQL优化建议、数据导入导出等。

• DBA版基于数据库的性能监控、慢日志分析等提供实时性能诊断调优，快速的智能问题根因分析，大幅简化数据库的维护管理工作；

• 针对企业级用户，DAS企业版提供一站式的数据库开发维护平台，通过角色权限，最大化数据保护，通过流程审批规范化数据变更操作，使得所有的变更均可以被审计和跟踪。

GaussDB(for openGauss)采用全并行分布式架构

• GaussDB(for openGauss)采用全并行分布式架构，可带来极致高性能，提升执行效率
• 分布式执行框架会根据业务SQL生成最优执行计划，通过算子下推、并行执行等技术，提升分布式执行效率：
  • 1、完美sharding架构支持单节点执行，点查、增删改等不需要DN间数据交互的场景下，CN将SQL直接下发至DN执行
  • 2、跨节点分布式执行，关联查询等需要DN间数据交互的场景下，CN将执行计划下发给DN，DN间通过Streaming算子完成数据聚合
  • 3、节点间支持DDL、DML等SQL语句并行执行；节点内支持基于数据页的并行查询

GaussDB(for openGauss)在线线性扩展

• 在线线性扩展：最大支持1000+节点
• 在OLTP场景下，随着数据量的增加通常需要对数据库进行扩容。为了保证客户业务在 扩容重分布过程中无需中断和平滑过渡，GaussDB Kernel提供在线扩容的能力，可支持线性扩容1000+节点。
• 在线扩容的原理和本质是集群内众多本地表在不同NodeGroup之间的数据搬迁。对于 每个扩容重分布的表而言，数据扩容可以分为三步：
  • 1、基线数据扩容重分布
  • 2、增量 数据重分布
  • 3、表切换。
  • 其中第二步尤为关键，在这一步内，通过行级增量标记技 术，来补偿在第一步基线数据重分布过程中来自客户业务的并发在线插入、删除和修 改。
• 在上述基础之上，通过引入hashbucket聚集存储，可以进一步降低数据重分布过程中数据的 扫描量和搬迁量，以及数据重建的规模。从而缩短重分布流程的整体时间同时降低对 用户在线业务影响的时间窗口，实现快速扩容。

敏捷应用

云原生应用平台构建政企渐进式云原生演进路线

• 政企IT建设周期长，IT架构演进经历了传统物理机，虚拟化到云计算等不同阶段。政企数字化初期主要是将业务从物理机搬迁上云，通过资源池云化，解决了物理机扩容困难，资源不能够共享的难题，但传统应用单体架构厚重、烟囱式架构等带来的一系列应用层面的问题并没有得到有效解决，云对业务的价值主要还停留在资源供给的阶段。与此同时，用户需求的爆炸式增长、市场环境的瞬息万变也要求政企持续提升架构的敏捷性和软件的迭代速度。
• 云原生技术在全面云化的基础之上，基于微服务的设计理念，解耦可复用功能与业务逻辑。将应用拆分为能独立快速发布的不同模块，使开发运维人员能聚焦于应用和创新工作。以DevOps为代表的开发运维安全一体化能力能够大幅提升开发速度，实现政企敏捷面对市场需求。
• 华为云Stack面向政企客户向云原生演进长期过程的特点，构建“立而不破，敏捷创新”的渐进式云原生演进路线，新老应用、数据要能有机协同起来，在一朵云里渐进式的发展，而非全盘应用重构的破坏式创新。ROMA Connect可以实现应用、消息、数据、API、设备全域融合集成，ROMA Factory支撑多框架、多语言应用接入治理，打通新旧IT资产，消除数字鸿沟。而开发层面提供无代码、低代码、全代码多开发模式，实现应用的积木式快速搭建和快速迭代，让政企创新更敏捷。

云原生基础设施

• ROMA Connect是一个全栈式的企业集成平台，提供轻量化消息、数据、API、设备等集成能力，通过华为云 Stack ROMA Connect提供的融合集成平台，进行应用全生命周期API管理，无缝连接新老应用，支持平台灵活转换即可非嵌入式实现非云原生到云原生改造，让新老系统业务协同互联，保护已有资产投资，实现IT架构平滑演进：
  • 融合新老应用，把存量应用在非破坏的前提下进行微服务改造，满足现代的技术要求；
  • 通过提供配置式的方式融合数据，简化数据集成开发的难度，通过数据虚拟化、OLTP和OLAP一体化的内存计算服务，让业务可以数据不搬家的情况下，快速获取数据服务；
  • 融合IT与OT，通过统一的物模型，把OT的语义进行IT化，把OT的命令、指令进行服务化；
  • 通过华为云ROMA Connect融合集成技术，把分布在不同云、不同企业、不同平台的技术，快速引进，让企业用户能够快速地开箱即用。

应用开发：多开发模式实现敏捷开发， 快速创新

• 在30多年的发展历程中，华为一直致力于打造业界领先的研发能力，其研发模式、流程和工具持续演进。面对自身的挑战和研发特点，华为在研发数字化上进行积极探索和实践：研发流程从瀑布、敏捷、持续交付、DevOps，到全云化开发。
• 华为云Stack面向客户不同的需求，提供低代码、无代码、全代码的全代码开发模式：ROMA Factory DevOps是面向开发者提供的一站式云端DevOps平台，即开即用，随时随地在云端交付软件全生命周期，覆盖需求下发、代码提交、代码检查、代码编译、验证、部署、发布，打通软件交付的完整路径，提供软件研发流程的端到端支持，全面支撑落地DevOps。
• 应用魔方 AppCube是零代码和低代码应用开发平台，源于华为应用开发和数字化转型的实践，提供了云上无码化、低码化、支持多码化的应用开发模式，屏蔽了技术的复杂性，提升了企业开发的效率。同时提供应用资产的开发标准和微服务框架，助力企业不断沉淀可复制的套件，加速应用的定制，并通过开放的生态，实现套件资产的商业变现。应用魔方顾名思义就如同魔方一样，可以通过任意组合，排列各种模块化元素，创建功能各异的应用。

应用运行：一站式应用托管治理平台

• ROMA Factory是华为云Stack面向政企的应用管理运营平台，提供应用发布、部署、监控、运维等一站式解决方案。支持Java、Go、PHP、Node.js、Docker、Tomcat等运行环境。支持Web应用，以及Apache ServiceComb、Spring Cloud、Dubbo、服务网格Istio等微服务应用和通用应用，让企业应用上云更简单。
• 专业服务：微服务演进和落地是需要专业服务支撑的，华为云Stack提供培训赋能，规划设计，交付等全面专业服务支撑客户微服务平稳落地
• 支持编写代码，自动生成符合open API 2.0标准的契约描述，可以保证微服务团队之间的高效合作。以契约为依据，加快生产效率
• 以应用为中心的全生命周期管理：规范应用、组件模型，以软件包定义应用组件，引导进行业务的解耦拆分，简化业务系统的复杂性，提供升级回退、弹性伸缩、启停等运维操作。
• 支持传统的微服务框架开发方式以及服务网格接入方式将组件快速微服务化并进行统一治理运维，打通spring cloud，服务网格之间的隔离。以往用户只能选择服务网格或者开发框架之一来构建应用系统，而ROMA factory为用户提供统一一致的微服务解决方案应对spring cloud和服务网格需求。

应用运维：全面立体应用运维，构建360° Ops能力

• 在应用运维层面，华为云Stack构建从基础设施、应用、日志到性能一站式立体化运维管理平台，通过实时监控用户的应用及相关云资源，采集并关联资源的各项指标、日志及事件等数据共同分析应用健康状态，提供灵活的告警及丰富的数据可视化功能，帮助用户及时发现故障，全面掌握应用、资源及业务的实时运行状况。
• AOM可以实现对云主机、存储、网络、WEB容器、Docker、Kubernetes等应用运行环境的深入监控并进行集中统一的可视化管理，能够有效预防问题的产生及快速帮助应用运维人员定位故障，降低运维成本。同时，AOM开放统一API，并能支持指标、事件告警和日志订阅，将数据推送到用户的Kafka中，支持对接自研监控系统或者报表系统。也可以通过API将自定义的运维数据上报至AOM以实现更加全面的业务监控。帮助企业实现 IT 对业务的有效支撑，保护、优化IT资产投资，使企业更好的达到其战略目标并实现IT资产调优。
• APM 是 华为云自主研发的用于应用性能管理的工具。利用这个工具能够帮助用户快速发现应用程序的性能瓶颈，以及故障根源的快速定位。APM可以通过非侵入的方式采集应用运行的指标数据，包括详细url的服务状态，JVM数据，应用异常，数据库访问，缓存访问，其他中间件调用，外部服务调用，应用服务器指标等等，用于衡量应用总体运行状况。APM同时采集分布式调用链数据，帮助开发者自动发现应用运行的拓扑结构，以及微服务场景复杂链路的性能问题。在企业复杂微服务的场景，APM的工具变得至关重要。当前只支持java 语言的监控，近期会扩展到 c++，python，go，nodejs，php等多种编程语言，以及js , android, ios等端侧应用，实现全链路溯源。

分布式缓存服务DCS：高性能、分布式应用缓存系统

• DCS高性能分布式缓存服务提供100%兼容Redis开源的引擎，可以有效的提升数据的访问速度，大幅度缓解数据可的压力，DCS服务提供了三种不同的实例：
  • 1.主备实例支持数据持久化，实时在主备实例间同步数据，出现故障后自动切换，保证了实例的高可用
  • 2.Proxy集群实例，通过前端的ELB和proxy可以对数据做Sharding，通过分散数据到后端不同的主备实例上，可以实现大容量的缓存服务，并且可以有效的避免单一实例过于繁忙。
  • 3.原生集群实例，完全兼容Redis的cluster实例，通过智能客户端的无中心化的方式实现高可用以及对服务端的分片。
• DCS服务的单实例性能可达10wQPS，高于友商，支持Redis3.x,4.x,5.x的版本，实例采用租户件的物理隔离方式来保证安全，同时实例支持跨AZ部署，支持持久化到本地盘，以及定期备份
  确保数据的安全可靠不丢失。DCS实例规格可以灵活选择从128M到1TB多种规格，满足不同场景的要求，并且支持一键在线扩容，满足业务规模发展的要求。

区块链BCS：构建应用和数据的可信共享交换体系

IoT设备接入服务：联接万物，让每个联接更可靠更简单

卓越服务

卓越服务：专业经验，安心上云到高效用云

上线西安运维中心，客户聚焦业务上云，享受可靠安全的用云体验

• 西安远程运维中心定位于为中国区HCS客户提供强有力的运维支撑，主要承接运维托管和远程技术支持服务。西安远程运维中心与华为HCS产品研发基地选址在同一工业园区，保证了运维和开发团队的高效互动，SRE专家团队均来源于研发。
• 西安远程运维中心部署了强大的运维管理平台和安全运营平台，以支撑运维的高质量，高效和安全。
  • 1、2021年上线西安运维中心，全面开放专业的运维人员、成熟的运维体系、领先的运维能力，用户托管全部运维工作，专业团队提供24小时服务。
  • 2、2021年已接入一汽集团、甘肃医保等65客户客户
  • 3、2022年计划接入 150+客户

三大场景化解决方案助力客户快速用云，用好云

• 三大场景服务解决方案
  • I.托管运维服务：针对自身运维团队小，运维成熟度低的客户，该解决方案实现云平台和云服务运维托管，助力客户快速使用云服务，聚焦业务，实现运维成本最优。
  • II.连线运维支持服务：针对自身运维成熟度较高的客户，该解决方案通过远程运维支持和本地运维支持相结合的方式，快速引入华为西安运维支持中心运维能力，助力客户快速具备云平台和云服务运维能力。基于客户对连线安全要求，方案具备定期连线和长连线两种模式。
  • III.不连线运维支持服务：针对自身运维成熟度高且不能连线外网的客户（如金融行业等），该解决方案通过在客户侧派驻运维管理专家、云运维技术专家的方式，实现云平台和云服务技术向客户的快速赋能，以及云运维的运作管理有效融入客户运维管理体系。
• 运维的核心就是要保障云平台和云服务的高可用，华为公司根据不同客户运维成熟度的不同，以及客户网咯连接外网安全要求的差异，提供了丰富的运维服务解决方案。针对运维成熟低，具备外包意愿的客户，我们提供端到端的运维托管服务，包括运维体系规划和建设，基础的运维服务，以及叠加的专项服务内容，帮助客户快速用云。客户是以购买云服务的方式同时购买托管运维服务。
• 针对运维成熟较高，希望自己掌控运维管理的客户，我们提供了连线和不连线两种场景的运维支持服务（协维），华为通过现场派驻运维技术专家、运维管理支持专家参与到客户运维团队，或通过华为远程运维支持中心承接部分高技术要求运维工作，与客户共同承接云平台和云服务运维，实现客户团队快速赋能和快速使用云。

云梯运维接入网关，安全、透明、可控

• “云梯”背景：
  • 1、技术支持中心目前最大的痛点是客户连线问题。如何能从技术上最大化缓解客户对数据/网络接入的疑虑，是目前Top优先级的工作
  • 2、客户痛点：
    • （1）有较多监听端口，担心网络攻击；客户北向账号较多；API调用不透明；通信矩阵较多（2 Region的接入云， 需要10+条）
    • （2）对通过机机通道传给华为的数据有疑虑， 日志审计效果较差
• 价值、竞争力：
  • 1、消除客户监听端口，最大程度保护客户网络安全。收编通信矩阵到3条端口（典配）。
  • 2、提供透明、安全的审计平台：支持客户对云管理面API访问的精准化控制，客户侧传到华为侧的数据透明化。
  • 3、客户侧对运维通道精准控制：人机通道、机机主动访问、机机告警回传
    “云梯”加固了连线安全、提供透明且易用的审计能力，客户可控制精准通道，增强客户连线信心！同时减少节省交付成本。

缩略语整理