【hcie-cloud】【8】华为云Stack_LLD设计【部署设计、资源设计、服务设计、学习推荐、缩略语】【下】_华为 hcie-cloud computing hcs开局部署

设计概览、整体架构设计、网络设计

看下面-这篇文章
【hcie-cloud】【7】华为云Stack_LLD设计【设计概览、整体架构设计、网络设计、部署设计、资源设计、服务设计】【上】

部署设计

云平台整体部署架构

图中在Region下每个灰底都代表一个数据中心，AZ1可以跨数据中心规划，这里AZ1m跨了多个数据中心，AZ1n同样跨了多个数据中心。

全局或区域部署原则

SAP HANA必须部署成单独的一个资源池，不能和其他的云服务器类型共部一个资源池，SAP HANA采用裸金属服务器和KVM虚拟化时必须分成两个不同的资源池。

组件部署方案

• 基础管理节点：安装OpenStack控制节点、ManageOne、公共组件和基础云服务组件。
• 扩展管理节点：安装基础云服务以外的其他高阶云服务。
• 网络计算融合节点：安装软件SDN组件，提供vRouter、ELB、EIP、VPN、NAT网关等功能，同时也作为计算节点，为客户提供计算资源。

节点类型及部署详情 - 管理节点

• 管理节点用于部署资源池层FusionSphere OpenStack控制节点、云服务、公共组件和管理域组件。
• 由于OpenStack计算节点数量增加导致管理节点需要扩展，如将GaussDB、RabbitMQ等组件部署到单独的管理节点。
• 管理节点采用UVP作为HostOS，FusionSphere OpenStack采用物理部署方式，Service OM采用虚拟化部署方式；当华为分布式块存储作为管理存储时，华为分布式块存储采用物理部署方式，华为分布式块存储Manager采用虚拟化部署方式。计算云服务、存储云服务、网络云服务、公共组件和管理域组件均采用虚拟化部署方式。

节点类型及部署详情 - 网络节点

• 网络节点用于部署软件SDN组件。
• 网络节点采用UVP作为HostOS，vRouter、L3NAT、L3_service和VPN组件采用虚拟化部署方式。

节点类型及部署详情 - ECS和EVS相关节点

• KVM计算节点（通用型ECS）：此节点类型为必选，用于ECS云服务发放通用型ECS实例（租户虚拟机）。
• KVM计算节点（GPU型ECS）：此节点类型为可选，用于ECS云服务发放GPU型ECS实例（租户虚拟机）。
• 分布式存储节点（EVS）：此节点类型为可选，当华为分布式块存储作为业务存储且华为分布式块存储分离部署时，用于EVS云服务发放EVS实例（租户云硬盘）。
• 计算存储融合节点（ECS和EVS）：此节点类型为可选，当华为分布式块存储作为业务存储且华为分布式块存储- 融合部署时，用于ECS云服务发放ECS实例（租户虚拟机）以及EVS云服务发放EVS实例（租户云硬盘）。

• KVM计算节点（通用型ECS）采用UVP作为HostOS，FusionSphere OpenStack（compute角色）采用物理部署方式。
• KVM计算节点（GPU型ECS）采用UVP作为HostOS，FusionSphere OpenStack（compute角色）采用物理部署方式。
• 分布式存储节点（EVS）采用EulerOS作为HostOS，华为分布式块存储采用物理部署方式。
• 计算存储融合节点（ECS和EVS）采用UVP作为HostOS，FusionSphere OpenStack（compute角色）和华为分布式块存储采用物理部署方式。

节点类型及部署详情 - BMS相关节点

• 裸金属服务器管理节点：此节点类型为可选，仅在Region Type I场景下且选用BMS云服务时选用此节点类型。
• 裸金属服务器网关节点：此节点类型为可选，仅在Region Type I场景下且选用BMS云服务时选用此节点类型。裸金属服务器网关节点是裸金属服务器的网络流量转发节点，实现VLAN到VxLAN的映射，为裸金属服务器提供二三层网络互通，安全访问控制，NAT等网络服务能力。
• 裸金属服务器节点：此节点类型为可选。在性能、安全要求比较高或直接调用硬件接口的场景，需要使用裸金属服务器。类似KVM计算节点，裸金属服务器发放前需要先将裸金属服务器节点扩容到云平台，每一个裸金属服务器节点能发放为一台裸金属服务器实例。

• 裸金属服务器管理节点采用UVP作为HostOS；当华为分布式块存储作为裸金属服务器管理节点的存储时，华为分布式块存储采用物理部署方式。
• 裸金属服务器网关节点采用UVP作为HostOS，FusionSphere OpenStack（baremetal-gateway角色）采用物理部署方式。

节点类型及部署详情 - CSBS、VBS和CSHA相关节点

• eBackup Server&Proxy节点为可选，仅选用CSBS和VBS云服务时选用此节点类型，用于部署CSBS和VBS云服务的eBackup Server&Proxy。
  • eBackup Server&Proxy节点采用EulerOS作为HostOS。
• CSHA服务使用的仲裁软件虚拟化部署场景下相关节点类型如下：
  • 采用物理服务器先安装FusionCompute，然后通过FusionCompute创建仲裁虚拟机。
  • 仲裁虚拟机包括存储仲裁虚拟机、云平台仲裁虚拟机、ManageOne仲裁虚拟机、API Gateway仲裁虚拟机。

平台时间同步设计 - 有外部NTP

• 资源池层FusionSphere OpenStack的NTP服务从外部NTP服务器获取时钟源。
• 资源池层Service OM、华为分布式块存储（包含FSM和FSA）、ManageOne和公共组件层的OM_NTP从FusionSphere OpenStack的NTP服务获取时钟源。
• 公共组件层的DMZ_NTP从FusionSphere OpenStack的NTP服务获取时钟源。
• 云服务、公共组件、管理域ManageOne等组件所在管理虚拟机从公共组件层的OM_NTP获取时钟源。
• 租户虚拟机可以根据实际需要，从公共组件层DMZ_NTP获取时钟源，或者从外部NTP服务器获取时钟源。

平台时间同步设计 - 无外部NTP

• 源池层中的Service OM、华为分布式块存储、ManageOne和公共组件层的OM_NTP从FusionSphere OpenStack的NTP服务获取时钟源。
• 公共组件层的DMZ_NTP从FusionSphere OpenStack的NTP服务获取时钟源。
• 云服务、公共组件、管理域ManageOne等组件所在管理虚拟机从公共组件层的OM_NTP获取时钟源。
• 租户虚拟机可以根据实际需要，从公共组件层的DMZ_NTP获取时钟源。

外部系统对接设计

• xxx运维管理平台是xx数据中心的运维中心，提供CMDB、告警、性能、工单等功能，负责全网设备的监控和管理；在xxx项目中，基础设施云平台需要与xxx运维管理平台对接的功能包括：
  • CMDB：对象数据。
  • 告警：云平台告警。
  • 性能：基础性能数据。
  • 审批流程：租户从华为的云平台上发起资源申请，申请订单转到xxx运维管理平台上审批，审批完成之后，申请订单在华为云平台上完成资源发放。
  • 对象操作：提供虚拟机的重启操作（用于重启排障）。

资源设计

资源分区设计

• Region：地理区域。Region的服务范围是一个以时延为半径的圈。
  • Region内时延：Region内如果覆盖多个物理DC，应规划充足的带宽，尽量小的时延。譬如，小于2 ms。
  • 接入时延：Region内的用户得到的前端服务可以小于该时延。譬如，100 ms。
  • 地理容灾：各个Region通常在不同的地理位置，具有地理容灾等级；
• AZ：可用区域。它包含有以下意义：
  • AZ为Region内的一个故障域。指在同一地域下，电力、网络隔离的物理区域。
  • 可用分区中的计算、存储、网络资源是全互通的。
  • 不同类型计算资源池也划分为多个AZ（裸金属资源池、VM资源池）。
• 计算服务器集群：也称主机组。
  • 管理员在计算资源池中把同一属性的硬件资源对计算服务器进行逻辑划分的一个群组。通常一个主机组的服务器数量不要超过128台。
• 云服务器类型：
  • 根据上云应用的需求进行规划，可使用通用型（CPU内存比1：4）、内存优化型（CPU内存比1：8）、计算优化型（CPU内存比1：2）等。

IaaS资源池规划示例

• XX政务项目IaaS资源池规划：
  • 物理机房：分为XXY和BH机房（属于2个电信运营商），两个机房，机房间距离小于10公里。
  • Region：政务外网业务和互联网业务的安全风险、安全隔离要求不同，两个业务区部署为2个Region。每个Region跨两个机房。
  • AZ划分：政务外网区Region划分4个AZ，其中三个业务AZ（两个虚拟机AZ、一个物理机AZ ）和一个测试AZ。互联网区Region划分3个业务AZ，两个虚拟机AZ、一个物理机AZ。
  • 服务器集群：即主机组，管理员在系统上对相同硬件配置的服务器逻辑分组。
  • 云服务器类型：政务办公类应用为主，采用通用型云主机。

计算资源池容量设计

计算资源池主机组设计

存储集群规划原则

一个backend内可以包含来自同一个存储的多个存储池；一个存储池不能加入到多个backend，建议一个volume type只包含同一种存储类型的backend，保证后端存储的能力相同。根据应用场景不同，选取合适的存储类型：

存储资源池容量规划 - 集中式存储

存储资源池容量规划 - 分布式存储

多级VDC划分

• VDC：与企业/部门层级关系相匹配的逻辑组织单元，能够完成用户管理、配额管理、项目管理、产品定义、资源发放、服务保障等功能。支持创建多级VDC，适用于分级运营的场景。例如，集团包含多个子公司，子公司又包含多个下级部门。或者政务云存在多个委办局。
  • VDC支持跨Region。
  • VDC支持为Region内不同云服务设置配额。
  • VDC支持为不同用户，关联不同的项目。
• Project：OpenStack原生概念，计算、存储、网络资源等最小归属单位，适合为项目组或业务系统分配单独Project。
  • Project不能跨Region。

VDC设计示例

• 组织VDC规划
  • 委办局希望可以由运营管理员代维，适合每个委办局划分一个租户（默认创建一级VDC）。
  • 一级VDC管理员根据组织结构的需求，确定是否创建下级VDC，每级VDC可单独设置配额。
  • VDC管理员具备查看本级和下级VDC的资源发放以及资源的管理和维护权限。
• Project规划
  • Project在每级VDC下创建，同时由VDC管理员管理。
  • 一个用户可以关联多个Project。可以关联一级VDC内不同VDC下的Project。

服务设计

华为云Stack云服务一览图

图中所示为华为云Stack8.1.1版本支持的云服务列表，不同版本存在差异。

华为云Stack云服务组件部署场景

• 每个独立站点均需部署一套基础组件.
  • Global解耦场景，global站点和Region站点需分别部署一套基础组件。
  • Global/Region合并场景，需部署一套基础组件。
  • Global区组件均部署在管理区；Region区组件区分管理区及管理下沉区（管理下沉区部署在POD区）,管理下沉组件与高阶服务业务资源共主机组部署。

服务规划示例 - OBS 3.0（1）

• 基础IaaS服务可按照前面章节的内容进行设计，对于高阶服务，比如OBS、安全服务、技术中台与AI中台服务都需要单独对服务进行规划。了解服务的架构、组网、流量模型以及部署形态，对服务的规划至关重要，本小节将以OBS 3.0服务规划为例。
• 先了解一下OBS 3.0的架构设计：
  
• 如上图所示， Huawei Cloud OBS从架构上主要分为三层：Persistence Layer（存储持久层），Index Layer（元数据服务层）和Service Layer（对象语义服务层）：
  • Persistence Layer（存储持久层）基于通用服务器和介质构建统一的存储持久层，负责数据布局、负载均衡、数据恢复能力，提供EC数据冗余方式，可以灵活解决性能以及成本问题。可以看出，Persistence Layer是Huawei Cloud OBS的基石，存储系统的扩展性、性能、可靠性均基于此。
  • Index Layer（元数据服务层）负责具体的元数据分布、索引、故障切换等，对上层的Service Layer提供高速的元数据存取和查询等能力，从上图中可以看到Index Layer的数据最终也是存储在Persistence Layer，所以这些元数据一样共享底层Persistence Layer的数据存储能力，从而保证整个系统的所有数据都是高扩展、高可靠的。
  • Service Layer（对象语义服务层），提供S3协议的接口，负责对象业务的接入、全局统一命名空间等，同时具备完善的增值服务，比如重删、跨区域复制、QoS、多租户、配额等特性，业界通用的对象存储协议在Huawei Cloud OBS都可以提供，真正做到了按需分配，用户不用再为存储的选择而犯难。

服务规划示例 - OBS 3.0（2）

• 接着需要了解一下OBS服务在HCS组网的位置：
  
  图例为单核心Type1组网，OBS在HCS网内独立占用接入TOR，上联到核心交换机。

服务规划示例 - OBS 3.0（3）

接着需要了解一下OBS网络平面：

• 自带表格不好看，放到excel里面好理解一些
  

服务规划示例 - OBS 3.0（4）

• 接着需要了解一下OBS网络架构：
  
• 在HCS下有二层、三层组网区分，区别在于网关位置，三层的网关在leaf上，二层的网关在Core上。
• OBS根据部署形态组网有区别，融合部署形态接入TOR和存储TOR合并。分离部署TOR分开。
  • 接入TOR：连接LVS，Service节点。
  • 存储TOR：连接Index，SSD，HDD其他节点。
• 扩容可以按照节点标准步长扩，TOR端口满了后，扩容新的一组TOR，实现横向Scale-out。

服务规划示例 - OBS 3.0（5）

• 接着需要了解一下OBS小型化部署方案：
  
• 小型化场景OBS单集群最大支持40节点规模，标准化场景OBS单集群最大支持4096节点规模。
• 小型化场景OBS性能弱于标准化场景，同硬件规格下约为1/2~1/3。
• 小型化建议的部署容量区间是0~3PB，超过3PB需要使用标准化部署。
• OBS支持跨AZ访问，暂不支持跨Region访问（主要依赖EP2.0)。

服务规划示例 - OBS 3.0（6）

• 接着需要了解一下OBS小型化组网：
  
• 小型组网需要1组TOR，类型为接入TOR，端口模式均为bond4+动态LACP。

服务规划示例 - OBS 3.0（7）

• 接着需要了解一下小型化部署下容灾、配置以及机柜摆放：

• 上面放到excel中
  

服务规划示例 - OBS 3.0（8）

接着需要了解一下OBS 3.0的硬件架构：

服务规划示例 - OBS 3.0（9）

• 示例
  

• OBS小型化和标准化由于部署架构不同，无法做平滑演进。需要在初次建设的时候就规划好OBS部署形态。

• OBS小型化当前建议上限空间3PB，对于预期容量超过6PB的局点或者对性能有较高的要求的局点，需要按照标准化形态部署。

• 如果小型化局点经过多次扩容，达到6PB上限空间，单桶容量上限无法跨集群。

• 当OBS作为大数据存算分离使用时，OBS3.0对象存储需要使用25GE组网。

• 对象存储支持集群内节点扩容，不支持扩容新集群。

• 存储节点以池为粒度进行扩容；同一存储池内只能有同一款典配机型，且要求机型配置规格完全一样。不同存储池可以分别是X86和ARM，每个池的大小可以不一样，

服务规划示例 - OBS 3.0（10）

• 接着需要了解一下OBS 3.0的域名规划：
  • 为保证组网可靠性和业务访问安全性，不能对内外部用户暴露提供真实服务的存储节点业务IP地址，而是使用域名方式对内部用户和公网用户提供业务。
  • 内部客户端和外部公网客户端访问对象存储服务域名，通过DNS解析后完成业务处理。对象存储域名会同时注册- 在云平台管理侧DNS服务器和租户侧DNS服务器。
  • 如需通过公网访问对象存储服务，需要将对象存储域名同时注册至公网DNS服务器。
  • 公网注册OBS域名，必须与OBS内网域名保持一致。

服务规划示例 - OBS 3.0（11）

• 接着需要了解一下OBS 3.0的对公网提供API访问规划：
  • 由于OBS服务功能涉及到Https请求，所以需要导入并使用包含了OBS域名的安全证书，使用证书后不会被浏览器安全策略拦截。可使用客户购买的商业证书，若无商业证书，会上报告警。
  • 公有云访问场景，客户如果需要对外表现OBS可用，需要购买商业证书。一般商业证书的有效期为1~5年。
  • 如果不涉及公网访问场景。一般不申请商用证书。如果要导入服务的预置证书则需要客户签署免责申明，认可自定义证书。

服务规划示例 - OBS 3.0（12）

最后就可以根据上述内容进行OBS 3.0 服务规划内容设计，并填写在LLD里。


下图为上图放大后的截图

• 总结一下
  本章主要讲解了
  • 设计概览：设计输入、项目背景、建设目标、建设范围
  • 整体架构设计：逻辑架构设计、物理架构设计
  • 网络设计：管理区网段划分设计、交换机VRF设计、防火墙安全域划分、设备互联地址设计、核心交换机路由设计、防火墙静态路由设计、运营运维接入设计
  • 部署设计：组件部署方案、平台时间同步设计、外部系统对接设计
  • 资源设计：资源分区设计、计算资源池设计、存储资源池设计、VDC设计
  • 服务设计：部分云服务的规划示例

学习推荐

• 华为云Stack产品文档：
  https://support.huawei.com/hedex/hdx.do?docid=DOC1100925285&path=PBI1-253383977/PBI1-23710112/PBI1-21431666/PBI1-253386765/PBI1-23864287
• 华为人才在线官网：
  https://e.huawei.com/cn/talent/portal/#/
• 华为认证论坛：
  https://forum.huawei.com/enterprise/zh/forum-813.html

缩略语