当前位置:   article > 正文

软考中级信息系统监理师(第二版)-第4章信息资源系统_信息系统监理师教程第二版

信息系统监理师教程第二版

第 4 章 信息资源系统

传统信息化的业务信息系统正在变得越来越复杂笨重,业务间的关联也越来越强。随着用户数或业务量的急剧增加,给计算能力、数据存储能力、系统稳定性和安全性带来了巨大挑战。为了适应不断增长的业务需要,组织不得不购买更多的软件(应用软件、数据库、中间件等) 和硬件设备(存储、服务器、负载均衡等),引入更多的专业人员来维持这些软硬件的正常运行。随着业务的不断增长和变化,支持这些业务的信息系统开销变得非常大,这些信息系统的维护成本也呈几何级数上升。数据资源平台和云资源系统可以帮助用户解决以上问题。数据资源平台负责信息系统中的数据存储、计算和相关处理。云资源系统把物理资源、虚拟资源、平台资源、应用及数据等信息资源集合起来,将其作为服务资源池,通过网络以不同服务模式提供给用户,满足用户在各种环境和资源需求上的要求。

本章重点介绍数据资源平台和云资源系统,帮助监理人员奠定资源管理相关的技术理论 基础。

4.1 数据资源平台

数据资源平台负责信息系统中的数据存储、计算和相关处理,硬件层面包括各类服务器、 存储设备和备份设备等,软件层面包括操作系统、数据库系统、中间件系统、云计算系统、虚拟化系统、集群系统等。

4.1.1  计算服务器和人工智能服务器

信息网络系统中所有的信息处理、逻辑运算等活动都可以抽象为基于某种算力来执行的计算操作。广义的算力是计算机设备或计算/数据中心服务器等设备处理数据的能力,是计算机硬件和软件配合共同执行某种计算需求的能力。狭义的算力是指一台计算机具备的理论上最大的每秒浮点运算次数 (floating-point operations per second,FLOPS),这里的计算机泛指个人PC、数据中心或组织的服务器、各类PAD 设备,甚至是人们日常使用的已经具备某种计算机功能的智能手机等设备。

本节重点阐述监理人员工作中常见的计算服务器和人工智能服务器。

1.计算服务器

计算服务器主要承载和提供各类业务应用、管理服务及数据资源共享服务,计算服务器相比于普通的计算机,要求具有高速的CPU 计算能力、较大的存储空间、长时间的可靠运行、强大的I/O 外部数据吞吐能力以及更好的扩展性。选择计算服务器时应考虑的因素包括: CPU的类型、数量、核数、速度等;内存数量、容量、性能等;总线结构和类型;磁盘总量和性能:容错性能;网络接口类型、数量、性能等;服务器软件;服务器本身的管理等。

服务器操作系统是服务器重要的组成部分,当前主流的服务器操作系统包括 Unix 、Linux、Windows、Netware等,主流国产操作系统包括麒麟、统信、欧拉等。

2.人工智能(Al)服务器

随着算法、算力、数据的不断发展,计算机视觉、语音识别、自然语言处理、生物特征识别、知识图谱以及机器学习等人工智能核心技术也愈发成熟。人工智能已经从单纯的技术研究 走向整体产业格局的发展,包括算法研究设计、芯片、基础软件、人工智能框架、开源数据集、人工智能应用等。人工智能的内涵已经大大扩展,成为一门交叉学科。抽象地看,人工智能包 括算力、算法和数据三个方面,具体到人工智能应用,需要着重考虑应用场景、平台框架、解决方案、部署实施等事项。

应用场景首先应明确人工智能实现环节,人工智能的实现包括训练和推理两个环节。 一般大型的人工智能应用需要独立部署训练服务器和推理服务器(或者是专用的实现推理功能的计算机、工控机和专用设备),例如常见的道路视频监控,在数据中心侧部署用于视频图像识别训练的训练服务器,在道路侧部署专用的用于本地实际视频图像识别的推理设备。

训练服务器和推理服务器一般是由通用计算服务器上加插特定AI 模块组成的,也有根据具体业务场景需求定制的工控机、其他专用或通用设备的。根据承担训练或推理任务的不同,AI 芯片也分为训练芯片和推理芯片两类。

(1)训练芯片主要用于构建AI训练模型,注重强大的计算能力;

(2)推理芯片则利用训练模型的结果进行推理预测,更注重综合指标,例如算力、能耗、 成本等。

人工智能仍处于快速发展阶段,为服务千差万别的AI 使用场景,由底层AI处理器(例如图形处理器GPU、神经网络处理器NPU、张量处理器TPU、深度学习处理器DPU、可穿戴处理器WPU等)、中层AI开发框架(例如TensorFlow、PyTorch、PaddlePaddle、MindSpore等)、 上层AI应用共同构成的异构人工智能算力中心,相互连接,形成了能够覆盖不同区域,且具备异地灵活调度、漫游接入功能的人工智能算力网络。

4.1.2  数据存储和备份设备

目前市场上的存储产品主要有磁盘阵列、磁带机与磁带库、光盘库、存储区域网络(Storage Area Network,SAN) 和网络附加存储 (Network Attached Storage,NAS)、对象存储、集中式存储和分布式存储等。

1)磁盘阵列

磁盘阵列(RAID)是将很多块独立的专用磁盘或普通磁盘连成阵列,组合成一个容量巨大的磁盘组,使其能以某种快速、准确和安全的方式来读写更大的磁盘数据。将多个容量较小的磁盘通过某种技术连接,可组合成容量巨大的磁盘组,通过智能镜像等技术实现对数据的冗余保护,在其中某一个或几个磁盘故障失效时,阵列中其他磁盘上保存的冗余数据仍然可用。通过阵列中的几块磁盘同时读取和对磁盘上的数据成块存取,提高整体数据存取速度。

2)磁带机、磁带库和光盘库

磁带机由磁带驱动器和磁带构成,是一种经济、可靠、容量大、速度快的备份存储设备, 随着制造技术和生产工艺的不断改进,磁带机的体积越来越小,存储能力越来越大,数据备份的可靠性和自动化程度越来越高。

广义的磁带库产品包括自动加载磁带机和磁带库。自动加载磁带机由磁带和磁带机有机结合组成,是一个位于单机中的磁带驱动器和自动磁带更换装置。自动加载磁带机可以从装有多盘磁带的磁带匣中拾取磁带并放入驱动器中,或执行相反的过程,可以备份TB级的数据。自动加载磁带机能够支持例行备份过程,自动为每日的备份工作装载新的磁带,从而实现自动备份。

磁带库是像自动加载磁带机一样的基于磁带的备份系统,磁带库由多个驱动器、多个槽和机械手臂组成,并可以由机械手臂自动实现磁带的拆卸和装填。它能够提供同样的基本自动备份和数据恢复功能,但同时具有更先进的技术特点。磁带库可以多个驱动器并行工作,也可以几个驱动器指向不同的服务器进行备份,存储容量达到PB 级,可以实现连续备份、自动搜索磁带等功能,并可以在管理软件的支持下实现智能恢复、实时监控和统计功能,是集中式网络数据备份的主要设备。磁带库不仅数据存储量庞大,在备份效率和人工占用方面也拥有无可比拟的优势。在网络系统中,磁带库通过SAN 系统可以形成网络存储系统,为组织存储提供有力保障,实现远程数据访问、数据存储备份功能,或通过磁带镜像技术实现多磁带库备份功能,无疑是适合数据仓库、ERP 等大型网络应用的良好存储设备。

光盘以其容量大、成本低、制作简单、体积小、易于保存、使用便利等特点,仍是当前海量信息和重要文献资料的备份媒体。光盘存储产品包括光盘塔、光盘库、光盘镜像服务器等。光盘塔由多个光盘驱动器并联而成,可以通过软件控制某台光驱的读写操作。光盘库是一种可以存放多张光盘并带有机械臂和光盘驱动器的光盘柜,也叫自动换盘机,能够利用机械手从机柜中选出一张光盘送到光盘驱动器进行读写。光盘镜像服务器是一种“瘦服务器”,采用硬盘高速缓存技术,将整张光盘的内容存储(镜像)到硬盘中,这样,用户就可以以硬盘的速度来共享服务器中的镜像光盘。

3)SAN和NAS

SAN采用光纤通道技术,通过光纤通道交换机连接存储阵列和服务器主机,建立专用于数据存储的区域网络。SAN 提供了一种与现有LAN 连接的简易方法,并且通过同一物理通道支持广泛使用的小型计算机系统专用接口 (Small Computer System Interface,SCSI)和IP 协议。SAN 采用SCSI 块 I/O的命令集,通过在磁盘或光纤通道 (Fiber Channel,FC) 级的数据访问提供高性能的随机I/O和数据吞吐率,具有高带宽、低延迟的优势,在高性能计算中占有一席之地,例如 SGI 的 CXFS 文件系统就是基于SAN 实现高性能文件存储的,但是由于SAN系统的价格较高,且可扩展性较差,已不能满足成千上万个CPU 规模的系统。

NAS将存储设备通过标准网络拓扑结构(例如以太网)连接到一群计算机上。NAS 是 部件级的存储方法,其重点在于满足组织迅速增加存储容量的需求。NAS 采用网络文件系统 (Network File System,NFS) 或通用网络文件共享服务 (Common Internet File System,CIFS) 命令集访问数据,以文件为传输协议,通过TCP/IP 实现网络化存储,可扩展性好、价格便宜、

用户易管理,例如目前在集群计算中应用较多的 NFS 文件系统。但 NAS 协议开销高、带宽低、延迟大,不利于在高性能集群中应用。

4)对象存储

SAN和NAS是人们比较熟悉的两种主流网络存储架构,而对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-based Storage  Device,OSD)。对象存储系统允许保留大量的非结构化数据,例如相关应用网站上存 储的短视频、歌曲、文件数据等。

总体而言,对象存储同时兼具SAN 的高速直接访问磁盘的特点及NAS 的分布式共享的特点。对象存储的设计原则之一是将一些较低层次的存储从管理员和应用程序中抽象出来,数据是作为对象而不是文件或块被暴露和管理的。对象包含额外的描述性属性,可以用于更好地进行索引或管理,对象存储还允许通过文件名和文件路径以外的方式对单个对象进行寻址和识别。对象数据不是存储在固定的块中,而是在大小可变的“容器”里,鉴于元数据 (Metadata)和数据本身可以通过传统数据访问方法进行访问,对象存储允许数据被直接访问。

5)集中式存储和分布式存储

集中式存储是将一台或多台存储设备组成中心节点,数据集中存储于这个中心节点中,并且整个系统的所有业务单元都集中部署在这个中心节点上。集中式存储是一直以来普遍应用的传统架构,由于I/O 路径短、性能较高且技术成熟,一般应用于对I/O 延时要求严格的核心业务场景,其优势在目前技术条件下是无可替代的,但缺点就是核心部件集中,冗余性和扩展能力较差。

分布式存储是将数据分散存储在多台独立的存储设备上,采用可扩展的系统结构,利用多台存储服务器分担存储负载,利用位置服务器定位存储信息,节点间采用高速网络,对硬件无特殊要求,成本较低,扩展能力强。同时可以灵活配置故障与副本策略,拥有自动重平衡能力,但延迟高、数据一致性问题也是其缺点和难点所在。

在数据服务层面,通常会提到块、文件和对象三个概念,前面讲到的集中式存储中, SAN   是提供块服务的设备,NAS 是提供文件服务的设备,还有一种统一存储设备,能同时提供块和文件的服务。同样的,分布式存储系统也有类似的分布式块、分布式文件和分布式对象的区分。顾名思义,这三种分布式存储系统对外提供的数据服务不同,但从硬件设备形态上很难进行区分,因为它们通常都会选择部署在多台通用的服务器硬件平台上。

集群存储是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池,应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘。

分布式存储也分为分布式块存储、分布式文件存储和分布式对象存储,区别在于它的核心软件,有些分布式存储软件甚至能够同时向外提供块、文件和对象的服务能力。著名的CAP定理指出:在一个分布式存储架构中,数据的一致性、可用性和网络分隔的容忍程度,三者只能取两个来做优化,无法三者兼具。分布式存储系统的设计需要针对特定服务的内容和性质来做取舍,很难有通用的最佳解。显然,分布式存储系统的优势在于其近乎无限的扩展能力,更适合互联网类型的大规模应用,而集中式存储的优势在于能够提供低延时、高性能的数据一致性,

更适合对处理时延敏感的交易类型系统。

集中式存储、集群存储和分布式存储的典型部署架构如图4-1所示。

4.1.3 主流数据库技术和系统

在数据库领域,数据从组织的角度主要分为结构化数据和非结构化数据两类。结构化数

据是带有固定结构的数据,在组织形式上是整齐格式化的,同一数据对象的所有数据都具有完全相同的结构。例如人员信息数据,定义为“身份证号、姓名、籍贯、出生日期”这种结构后,所有人员的信息都会按照这个固定的格式来组织。结构化数据是数据库中最常见的数据,也是数据库最擅长处理的数据。非结构化数据可以理解为结构化数据之外的一切数据,这类数据无法预先定义出固定格式,直接的表现就是字段可变,包括字段的多少和类型。例如在即时聊天工具中的数据,可能包含文字、图片、音频、视频等。非结构化数据是生活中数量最庞大的数据,尤其是当前由机器生成的数据越来越多,非结构化数据在所有数据中的占比也越来越大。

数据库系统主要分为关系型数据库和非关系型数据库两大类。

(1)关系型数据库:存储的格式可以直观地反映实体间的关系。关系型数据库和常见的表格比较相似,关系型数据库中表与表之间是有很多复杂的关联关系的。传统的关系型数据库有Oracle、DB2、MySQL、Microsoft SQL Server、Microsoft Access等多个品种,每种数据库的语法、功能和特性也各具特色。国产的关系型数据库包括 GaussDB(for MySQL)、达梦数据库、OpenBASE、OSCAR 等。

(2)非关系型数据库(NoSQL): 指分布式的、非关系型的、不保证遵循 ACID (数据库事务处理的四个基本要素)原则的数据存储系统。NoSQL 数据库适合文档形式、图片形式、文件形式等,使用灵活,应用场景广泛。传统的非关系型数据库有MongoDB 、HBase 、Redis、 Neo4j等。国产的非关系型数据库包括GaussDB(for Mongo)等。

4.1.4  典型数据中心组网技术

数据中心通常指的是互联网数据中心(Internet Data Center,IDC),为互联网业务提供商 (Internet Service Provider,ISP)、互联网内容服务提供商 (Internet Content Provider,ICP)、政府、企业、媒体、各类网站甚至是个人提供大规模、高质量、安全可靠的专业化服务器托管、空间租用、云计算资源租用、业务应用部署等服务。除此之外,也有大型企业自主建设数据中心,称为企业级数据中心(Enterprise Data Center,EDC)。在云计算、大数据和人工智能快速发展和应用的背景下,云计算数据中心、人工智能算力中心、混合数据中心等应运而生。

1.数据中心网络

IDC内部的各种服务器、存储器等计算资源、存储资源设备,以及支撑IDC 正常运转的各类监控管理服务模块,同样需要一定规模的网络连接支持, 一个典型的数据中心网络主要由网络连接模块、业务接入模块和后台管理模块三部分构成,如图4-2所示。

(1)网络连接模块。主要提供稳定、可靠、高速的数据中心内部和外部网络连接、数据交 换、业务安全等功能。

(2)业务接入模块。主要提供IDC 内部各种资源和业务功能的接入和连接,通常包括:基本业务区,实现IDC 主机托管、云计算等资源接入和基本业务能力提供;增值业务区,提供安全服务、高速缓存、负载均衡、SSL 加速、VPN 服务、应用系统托管服务等增值业务能力;存储业务区,提供存储、备份等增值服务能力。

(3)后台管理模块。主要提供IDC的接入管理、监控、系统管理、网络管理、防病毒管理、安全管理中心、DCN 接口、银行接口等功能。

2.数据中心组网架构

针对网络连接模块,传统的做法是采用两层或三层的树形架构进行组网,随着传统 IDC 向云数据中心转型,数据中心网络架构也在不断演进。传统的大型数据中心采用层次化模型设计的三层网络架构,将复杂的网络设计分成几个层次,每个层次着重于某些特定的功能,这样就能够使一个复杂的大问题变成许多简单的小问题。三层网络架构设计如图4-3所示。

(1)核心层。核心层是整个数据中心网络的数据传输主干道, 一般由两台或若干台三层路由交换机实现,为进出数据中心的数据提供高速转发,为内部多个汇聚层节点提供连接性。

(2)汇聚层。汇聚层连接网络的核心层和各个接入层设备,在两层之间承担“媒介传输” 的作用,在接入层设备接入核心层之前先经过汇聚层进行数据处理,以减轻核心层设备的   负荷。

(3)接入层。接入层负责接入各类资源和业务节点,一般称为入网点或网络服务提供点 (Point-of-Presence,PoP)。

传统的数据中心树形组网架构存在内部数据转发跳数多、扩展能力差、虚拟机迁移不方便等缺点,现在流行的数据中心组网架构是二层的脊背—叶子(Spine-Leaf)架构,内部数据转发跳数少,更易于水平扩展。Spine 交换机相当于核心交换机,Leaf交换机相当于传统三层架构中的接入交换机,直接接入各类物理服务器等PoP设备,每个Leaf交换机与全部的Spine交换机进行互连,同样地,每个Spine交换机也下连全部的Leaf交换机,这样就组成了数据中心内部的全互连网络连接架构,如图4-4所示。

4.2 云资源系统

云资源系统通过云计算,把基础设施、物理资源、虚拟资源、平台资源、应用及数据等资源集合起来,作为服务资源池,以不同的服务模式,通过网络提供给用户。用户仅需较少的代价即可获得优质的IT资源和服务,避免了前期基础设施建设的大量投入,同时,用户只需投入管理性工作,即可完成信息化的快速发展,而且与服务供应商的交互较少。

4.2.1  云计算参考架构

1.云计算功能架构

云计算功能架构分为服务和管理两大部分,如图4-5所示。

(1)在服务方面,主要向用户提供基于云的各种服务,共包含三种模式: SaaS 、PaaS 和 IaaS。其中,SaaS层的作用是将应用主要基于Web 的方式提供给用户;PaaS 层的作用是将一个应用的开发和部署平台作为服务提供给用户;laaS 层的作用是将各种底层的计算(如虚拟机)和存储等资源作为服务提供给用户。

(2)在管理方面,主要提供云相关的管理功能,以确保整个云计算中心能够安全、稳定地运行,并且能够被有效地管理。

2.云计算层次结构

云计算架构按照分层方式,包括显示层、中间层、基础设施层和管理层。

1 ) 显示层

云计算架构的显示层主要是以友好的界面展现用户所需的内容和服务体验,并会用到中间层提供的多种服务。

●JavaScript: 一种用于Web页面的动态语言,通过JavaScript, 能够极大地丰富Web页面的功能,并且可以用异步JavaScript和XML(Asynchronous Javascript And XML, AJAX)创建更具交互性的动态页面。

●HTML: 标准的 Web 页面技术,HTML4 、HTMLS是其主要实现技术。

●CSS: 主要用于控制 Web 页面的外观,而且能使页面内容与其表现形式之间进行分离。

●Flash:最常用的丰富互联网应用(Rich Internet Applications,RIA)技术,能 够 提 供 HTML等技术所无法提供的基于 Web 的丰富的应用,而且在用户体验方面非常不错。

2 ) 中 间 层

中间层是承上启下的,它在下面的基础设施层所提供资源的基础上提供了多种服务,例如缓存服务和表述性状态传递 (Representational State Transfer,REST)服务等,而且这些服务既可用于支撑显示层,也可以直接让用户调用。

●多租户:就是能让一个单独的应用实例为多个组织服务,而且保持良好的隔离性和安全性,通过这种技术能有效降低应用的购置和维护成本。

●分布式缓存:通过分布式缓存技术不仅能有效降低对后台服务器的压力,而且还能加快相应的反应速度。

●并行处理:为了处理海量的数据,需要利用庞大的计算资源集群进行规模巨大的并行 处理。

●应用服务器:在原有应用服务器的基础上为云计算做了一定程度的优化。

● REST: 定义了一组体系架构原则,可以根据这些原则设计以系统资源为中心的Web 服务,包括使用不同语言编写的客户端如何通过HTTP 处理和传输资源状态。

3)基础设施层

基础设施层的作用是为上面的中间层或者用户准备其所需的计算和存储等资源。

●虚拟化:可以理解为基础设施层的“多租户”,因为通过虚拟化技术,能够在一个物理服务器上生成多个虚拟机,并且能在这些虚拟机之间实现全面的隔离,这样不仅能降低 服务器的购置成本,而且还能降低服务器的运维成本。

●分布式存储:为了承载海量的数据,同时保证这些数据的可管理性,就需要一整套分布式的存储系统。

●关系型数据库:基本是在原有关系型数据库的基础上做了扩展和管理等方面的优化,使其在云中更适应。

●NoSQL(Not only SQL): 泛指非关系型的数据库,用以解决大规模数据集合多重数据种 类带来的挑战,特别是大数据应用难题。

4)管理层

管理层是为另外三层服务的,并给这三层提供管理和维护等方面的多种技术。

●账号管理:通过良好的账号管理技术,能够在安全的条件下方便用户登录,并方便管理员对账号的管理。

●SLA监控:对各层运行的虚拟机、服务和应用等进行性能方面的监控,以使它们都能在满足预先设定的服务水平协议 (Service Level Agreement,SLA)的情况下运行。

●计费管理:也就是对每个用户所消耗的资源等进行统计,以便准确地向用户收取费用。

●安全管理:对数据、应用和账号等IT资源采取全面保护,使其免受犯罪分子和恶意程序的侵害。

●负载均衡:通过将流量分发给一个应用或者服务的多个实例来应对突发情况。

●运维管理:主要是使运维操作尽可能专业和自动化,从而降低云计算中心的运维成本。

4.2.2  云计算关键技术

云计算的实现采用分层架构,其中的关键技术包括虚拟化技术、分布式数据存储技术、资

源管理技术、云计算平台管理技术和多租户隔离技术等。

1.虚拟化技术

虚拟化是云计算的核心技术之一,它为云计算服务提供基础架构层面的支撑,是信息通信技术(ICT)服务快速走向云计算的最主要驱动力。虚拟化技术根据对象的不同可分成存储虚拟化、计算虚拟化、网络虚拟化等。计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。从表现形式上看,虚拟化又分为两种应用模式,包括将单个资源划分成多个虚拟资源的裂分模式,以及将多个资源整合成一个虚拟资源的聚合模式。这两种模式的核心都是统一管理、动态分配资源、提高资源利用率。

2.分布式数据存储技术

通过将数据存储在不同的设备中,能实现动态负载均衡、故障节点自动接管,具有高可靠性、高可用性和高可扩展性。因为在多节点的并发执行环境中,各个节点的状态需要同步,并且在单节点出现故障时,系统需要有效的机制来保证其他节点不受影响。这种模式不仅摆脱了硬件设备限制,同时扩展性更好,能够快速响应用户需求的变化。

3.资源管理技术

云计算需要将分布式的海量资源进行池化,然后提供给用户使用,因此,云计算的关键技术还包括资源管理技术。资源管理技术主要包括两个方面:一是对海量资源的统一管理;二是对资源的弹性管理。在云计算环境下,主要通过基于概率预测的负载均衡技术、基于遗传算法的资源调度技术、双向竞拍资源竞价技术等,来有效地对动态、异构、分布以及自治等的云计算资源进行管理。

4.云计算平台管理技术

云计算资源规模庞大,服务器数量众多并分布在不同地点,同时运行着大量应用,如何有效管理这些服务器,保证整个系统提供不间断的服务,是一项巨大的挑战。云计算系统的平台管理技术能够使大量的服务器协同工作,方便进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化的手段实现大规模系统的可靠运营。

5.多租户隔离技术

与传统的软件运行与维护模式相比,云计算要求硬件资源与软件资源能够更好地被共享, 具有良好的伸缩性,任何一个企业用户都能够按照自己的需求对 SaaS 软件资源进行客户化配置而不影响其他用户的使用。目前多租户隔离技术是云计算环境中能够满足上述需求的关键技术。

多租户技术面临的技术难题包括数据隔离、客户化配置、架构扩展与性能定制。

云计算提供了laaS 、PaaS 和 SaaS 三种服务模式,而在具体的运营中,云服务提供商和用户共同分担安全责任,不同服务模式下二者的安全责任也不相同。

4.2.3  云计算运营模式

1.云计算服务角色

在NIST定义的通用云计算架构中,包括了五种云计算相关角色。

(1)云服务提供商:即提供云服务(云计算产品)的厂商,例如提供AWS 云服务的亚马逊、提供阿里云服务的阿里巴巴、提供华为云服务的华为等。

(2)云服务消费者:即租赁和使用云服务产品的组织和个人消费者。

(3)云服务代理商:即云服务产品的代理商。因为一个产品厂商很难靠自己去销售,所以通常会寻找代理商,由代理商将产品销往全球。

(4)云计算审计:即能够对云计算安全性、性能、操作进行独立评估的第三方组织或个人。

(5)云服务承运商:即提供云服务消费者到云服务产品之间连接的媒介,通常云服务消费

者是通过Internet访问使用云服务的,所以Internet服务提供商就是这里的云服务承运商,例如中国电信。

2.云计算责任模型

安全责任划分是云计算场景下云服务提供者和云服务客户间的痛点,2019年发布的《云计算安全责任共担模型》行业标准,规范了公有云IaaS 、PaaS 、SaaS模式下云服务提供者和云服 务客户间的安全责任共担模型。

(1)云服务责任承担能力评估。考察公有云服务提供者(至少提供IaaS 、PaaS 、SaaS 中的一类云服务)的安全责任承担情况,以及安全责任承担披露情况,即是否如实告知客户云服务商承担的安全责任。

(2)云服务安全使用能力评估。考察公有云服务客户(至少使用laaS 、PaaS 、SaaS中的一种云服务)对所用云服务的安全使用能力。

在采购云服务的同时,需要注意和云服务提供商签署相关的协议,明确服务水平、安全责任和义务等事项,如图4-6所示。

云计算的基础设施、物理硬件、资源抽象和控制层都处于云服务提供者的完全控制下, 所有安全责任由云服务提供者承担。应用软件层、软件平台层、虚拟化计算资源层的安全责 任则由双方共同承担,越靠近底层的云计算服务(即IaaS),客户的管理和安全责任越大;反之,云服务提供者的管理和安全责任越大。在Iaas中,客户的责任是最大的,SaaS中客户的责任最小,PaaS中客户的责任介于IaaS和 SaaS之间。在SaaS模式下,客户仅需承担自身数据安全、客户端安全等相关责任,云服务提供者承担其他安全责任;在PaaS模式下,软件平台层的安全责任由客户和云服务提供者分担,客户负责自己开发和部署的应用及其运行环境的安全,其他安全由云服务提供者负责;在IaaS模式下,虚拟化计算资源层的安全责任由客户和云服务提供者分担,客户负责自己部署的操作系统、运行环境和应用的安全,对这些资源的操作、更新、配置安全和可靠性负责,云服务提供者负责虚拟机监视器及底层资源的安全。

云计算环境的安全性由云服务提供者和客户共同保障。在某些情况下,云服务提供者还要依靠其他组织提供计算资源和服务,其他组织也应承担安全责任。因此,云计算安全措施的实施主体有多个,各类主体的安全责任因不同的云计算服务模式而不同。

3.云计算服务的交付

云计算的服务交付主要包括六种模式:

(1)模式一:组织所有,自行运营。这是一种典型的私有云模式,组织自建自用,基础资源在组织数据中心内部,运行维护也由组织自己承担。

(2)模式二:组织所有,运维外包。该模式也是私有云,但是组织只进行投资建设,而云计算架构的运行维护外包给服务商(也可以是服务提供者),基础资源依然在组织数据中心。

(3)模式三:组织所有,运维外包,外部运行。由组织投资建设私有云,但是云计算架构位于服务商的数据中心内,组织通过网络访问云资源。这是一种物理形体的托管型服务。

(4)模式四:组织租赁,外部运行,资源独占。由服务提供者 (Service Provider,SP)  构 建云计算基础资源,组织只租用基础资源形成自身业务的虚拟云计算,相关物理资源完全由组 织独占使用。这是一种虚拟的托管型服务(数据托管)。

(5)模式五:组织租赁,外部运行,资源共享调度。由SP 构建云计算基础资源,多个组织 同时租赁SP的云计算资源,资源的隔离与调度由SP 管理,组织只关注自身业务,不同组织在云架构内虚拟化隔离,形成一种共享的私有云模式。

(6)模式六:公共云服务。由SP 为组织或个人提供面向互联网的公共服务(如邮箱、即时通信、共享容灾等),云架构与公共网络连接,由 SP 保证不同组织与用户的数据安全。

4.2.4  云服务产品

1.云服务器

云服务器是通过云提供的一种基础云计算服务。客户无须提前采购硬件设备,而是根据业 务需要,随时创建所需数量的云服务器。在使用过程中,随着业务的扩展,可以随时扩容磁盘、增加带宽。如果不再需要云服务器,也能随时释放资源,节省费用。

云服务器具有高可用性、稳定性与安全性、弹性的特点。

(1)高可用性。公有云会使用更严格的IDC 标准、服务器准入标准以及运维标准,以保证 云计算整个基础框架的高可用性、数据的可靠性以及云服务器的高可用性。公有云所提供的每 个地域都存在多可用区。当客户需要更高的可用性时,可以利用公有云的多可用区搭建自己的 主备服务或者双活服务。在云的整个框架下,这些服务可以非常平滑地进行切换。无论是两地 三中心,还是电子商务以及视频服务等,都可以找到对应的行业解决方案。

(2)稳定性与安全性。公有云专有网络也更加稳定和安全。稳定性:业务搭建在专有网络上,而网络的基础设施会不断进化,使客户每天都拥有更新的网络架构及更新的网络功能,使 业务永远保持稳定的状态。专有网络允许客户自由地分割、配置和管理自己的网络。安全性:面对互联网上不断的攻击行为,专有网络具备流量隔离及攻击隔离的功能。业务搭建在专有网络上,专有网络会为业务筑起第一道防线。

(3)弹性。云计算最大的优势就在于弹性,包括计算弹性、存储弹性和网络弹性。

云服务器提供了丰富的块存储产品类型,包括基于分布式存储架构的弹性块存储产品和基于物理机本地硬盘的本地存储产品。

2.存储类产品

1)块存储

块存储为云服务器提供高效可靠的存储设备,它是一种高可用、高可靠、低成本、可定制化的块存储设备,可以作为云服务器的独立可扩展硬盘使用。块存储提供数据块级别的数据存储,为虚拟机(Virtual Machine,VM) 提供数据可靠性保证。

块存储具有如下功能特点:

●弹性可扩展。可以自由配置存储容量,按需扩容,以满足业务数据扩容需求,灵活应对TB/PB 级数据的大数据处理场景。

●多存储类型。提供普通、高性能和固态硬盘 (Solid State Disk/Drive,SSD) 三种类型,满足业务不同性能要求,其中SSD 块存储采用非易失性存储器 (Non-Volatile Memory  Express,NVMe)标准高性能 SSD, 单盘最大提供24000的每秒读写操作次数 (Input/ Output   Operations Per Second,IOPS),260MB/s的吞吐率,能够轻松支撑业务侧高吞吐量DB访问。

●稳定可靠。在每个存储写入请求返回给用户之前,就已确保数据被成功写入跨机架的存储节点中,能够保证任何一个副本发生故障时可快速进行数据迁移恢复,以保护客户的 应用程序免受组件故障的威胁。

●简单易用。通过简单的创建、挂载、删除等操作即可管理并使用块存储,节省人工管理 部署成本。

●快照备份。客户可以通过拍摄存储块的时间点快照来备份数据,防止因篡改和误删导致 的数据丢失,保证在业务故障时能够快速回退。

●分类。块存储的分类如表4-1所示。

表4-1 块存储的分类

块存储

弹性块存储

共享块存储

SSD块存储

高效块存储

云盘

SSD云盘

高效云盘

普通云盘

本地存储

NVMe SSD本地盘

SATA HDD本地盘

2)对象存储

对象存储服务 (Object Storage Service,OSS) 是通过云提供的海量、安全、低成本、高可 靠的云存储服务。它具有与平台无关的RESTfulAPI  接口。可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。OSS 适合各种开发企业及开发者使用。

对象存储具有如下功能特点:

●访问灵活。提供标准的RESTful API接口,通过丰富的软件开发工具包(Software Development Kit,SDK)、客户端工具、控制台,像使用文件一样方便地上传、下载、检索、管理用于Web 网站或者移动应用的海量数据。

●支持数据生命周期管理及流式写入和读取,支持边读边写,真正实现文件流式存储,视频录像秒级回放。

●提供多维度、多层次的安全防护与访问控制,以及保障客户数据安全的灵活的鉴权、授权机制。

●提供安全令牌服务 (Security Token Service,STS)和URL鉴权和授权机制,以及白名单、防盗链、主子账号功能。

●提供跨区域复制功能实现数据异地容灾。强大的数据处理能力,协助客户对存储在OSS上的文件进行加工处理。

●图片处理。支持jpg、png、bmp、gif、webp、tiff等多种图片格式的文件格式转换、缩略图、剪裁、水印、缩放等多种操作。

●音视频转码基于OSS 存储,提供高质量、高速并行音视频转码能力,让客户的音视频文件轻松应对各种终端设备。

●内容加速分发。OSS 作为源站,搭配CDN进行加速分发,稳定、无回源带宽限制、性价比高,一键配置。拥有不断丰富的行业解决方案产品包。适合安防行业,在线点播,交互式传播,图片处理与存储等。

对象存储的应用场景有:图片和音视频等应用的海量存储、网页或移动应用的静态和动态分离。

3.网络类产品

1)专有网络

专有网络 (Virtual Private Cloud,VPC) 是基于云构建的一个隔离的网络环境,专有网络之 间逻辑上彻底隔离。客户能够在自己定义的虚拟网络中使用云资源。

专有网络的功能特点有:VPC 是一个独立的虚拟化网络,可提供独立的路由器和交换机组件,包括私网IP 地址范围、子网网段和路由配置等,不同的VPC之间实现彻底逻辑隔离。专有网络的应用场景有:本地数据中心+云上业务的混合云模式、多租户的安全隔离、主动访问公网的抓取类业务。

2)负载均衡

负载均衡 (Server Load Balancer,SLB) 是对多台云服务器进行流量分发的均衡服务,可以 通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。

负载均衡的功能特点有:

●高可用。采用全冗余设计,无单点,支持同城容灾,搭配DNS可实现跨地域容灾,可用性高。根据应用负载进行弹性扩容,在流量波动情况下不中断对外服务。

●低成本。与传统硬件负载均衡系统的高投入相比成本低。

负载均衡的应用场景有:高访问量的业务、横向扩张系统、消除单点故障、同城容灾(多 可用区容灾)。

3)弹性公网IP

弹性公网IP地址 (Elastic IP Address,EIP) 是可以独立购买和持有的公网IP地址资源。目 前,EIP 可绑定到专有网络类型的云服务器实例、专有网络类型的私网 SLB 实例和 NAT网关上。弹性公网IP 是一种网络地址转换 (Network Address Translation,NAT)IP, 它实际位于云的公网网关上,通过NAT 方式映射到了被绑定的实例位于私网的网卡上。因此,绑定了弹性公网IP的专有网络实例可以直接使用这个IP进行公网通信,但是在实例的网卡上并不能看到这个IP地址。

弹性公网IP的功能特点有:

●灵活独立的公网IP资源;

●动态绑定和解绑;

●按需购买和灵活管理。

弹性公网IP 的应用场景有:业务系统高可靠的需求、带宽使用成本降低的需求、保证系统实时性的需求、游戏业务精确分区和游戏玩家多房间接入需求。

4.数据库类产品

云关系型数据库是一种稳定可靠、可弹性伸缩的在线数据库服务。基于云分布式文件系统 和高性能存储,云关系型数据库支持MySQL、SQL Server、PostgreSQL和PPAS(Postgre   Plus Advanced Server, 一种高度兼容Oracle的数据库)引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案。

云关系型数据库的功能特点有:

●便宜易用。即开即用、按需升级、透明兼容、管理便捷。

●高性能。参数优化、SQL 优化建议、高端硬件投入。

●高安全性。防 DDoS 攻击、访问控制策略、系统安全。

●高可靠性。双机热备、多副本冗余、数据备份、数据恢复。

云关系型数据库的应用场景有:异地容灾、数据多样化存储、持久化缓存数据、大数据 分析。

5.安全类产品

1)DDoS高防 IP

DDoS 高防IP是针对互联网服务器在遭受大流量的 DDoS 攻击后导致服务不可用的情况下,推出的付费增值服务,用户可以通过配置高防IP,  将攻击流量引流到高防IP,   确保源站的稳定可靠。

DDoS高防IP的功能特点有:防护多种DDoS类型攻击、随时更换防护IP、弹性防护、 精准防护报表、防护海量 DDoS 攻击、精准攻击防护、隐藏用户服务资源、高可靠性和高可用性。

DDoS高防IP的应用场景有:DDoS 高 防IP 可服务于云内及云外的所有客户,主要使用场景包括金融、娱乐(游戏)、媒资、电商、政府等对用户业务体验的实时性要求较高的业务。

2)Web应用防火墙

Web应用防火墙 (Web  Application Firewall,WAF) 基于云安全大数据能力,用于防御 SQL注入、XSS 跨站脚本、常见 Web 服务器插件漏洞、木马上传、非授权核心资源访问等OWASP 常见攻击,并过滤海量恶意CC 攻击,避免客户的网站资产数据泄露,保障网站的安全与可用性。

WAF的功能特点有:WAF 可以帮助客户应对各类Web 应用攻击,确保网站的 Web安全与可用性,其可以提供常见Web 应用攻击防护、恶意CC 攻击防护、精准访问控制、强大报表分析、强大Web防御能力、网站专属防护、大数据安全能力、检测快、防护稳、高可靠、高可用的服务。

WAF 的应用场景有:Web 应用防火墙服务于云上及云外的所有客户,该服务主要应用于金融、电商、O20、互联网+、游戏、政府、保险等对安全要求较高的各类网站。

6.管理工具类产品

云监控是一项针对云资源和互联网应用进行监控的服务。云监控服务可用于收集获取云资源的监控指标,探测互联网服务可用性,以及针对指标设置警报。云监控为用户提供仪表盘驾驶舱、站点监控、云产品监控、自定义监控和报警服务。

管理类工具的应用场景有:云服务监控、系统监控、及时处理异常场景、及时扩容场景、 站点监控、自定义监控等。

4.2.5  云服务质量评估

云服务的质量包括各种功能性和非功能性的交付水平。

1.云主机服务质量评估

云主机服务质量评估主要考察以下指标要求:

(1)通用处理能力,包括CPU 运算处理能力、内存处理能力、硬盘处理能力、网络传输能力、在线可用性、对弹性主机服务。

(2)系统处理能力,即对不同典型应用组件的支持能力评估,包括Web网站 、J2EE应用、关系数据库、Hadoop 、邮件系统和中间件等。

(3)行业应用承载能力,即对行业不同典型产品的承载能力评估,包括ERP产品、CRM产品和其他典型产品。

(4)交付服务内容评估,包括界面交互服务、计费服务、技术支持服务、资料信息服务、 其他服务。

2.对象存储服务质量评估

对象存储服务质量评估主要考察以下性能指标要求:

(1)数据存储的持久性。具体包括:

●用户数据应有本地副本,且有大于1份的数据副本;

●对象存储服务提供商具有跨机房或异地备份的能力。

(2)数据可销毁性。具体包括:

●用户终止服务的时候,除非有特殊约定,对象存储服务提供商应该立即将用户数据彻底删除;

●服务过程中,如果用户提出数据删除要求,服务商应立即删除数据;

●如果用户提出高级清零要求,对象存储服务提供商应提供相应的服务;

●在存储设备报废时,服务提供商应使用消磁、损毁等方式进行处理。

(3)数据可迁移性。在用户提出数据迁移需求时,对象存储服务提供商能够提供迁入和迁出工具或迁入和迁出人工服务,具体包括:

●对象存储服务提供商可提供管理工具、API、SDK,  用户可以使用管理工具、API、SDK

完成数据迁移;

●对象存储服务提供商也可提供数据迁入和迁出人工服务,帮助用户完成数据迁移;

●如果以代码可编程方式提供服务,还应包括对象有关的代码的迁移。

(4)数据私密性。具体包括:

●对象存储服务提供商应保证非公开对象外部无法获取;

●保证不同用户之间的隔离,不能相互控制、篡改文件等;

●用户授权的情况下,对象存储服务提供商才能获得数据;

●供应商应遵守我国保护用户信息/隐私的相关法律法规。

(5)数据知情权。为我国提供对象存储服务的数据中心(包括备份数据的数据中心)必须在我国境内,并且达到以下要求:

●对象存储服务提供商告知数据中心及备份数据中心的位置;

●对象存储服务提供商对用户数据进行的操作均需获得用户授权,向用户告知操作的细 节,并进行日志留存

●在任何情况下对象存储服务提供商不能将用户相关信息及数据转移至我国境外的国家和地区;

●提供对象存储服务的系统和平台相关的维护、管理、升级等操作均需在我国境内进行。

(6)服务可审查性。具体包括:

●对象存储服务提供商应依法配合国家监管机构、司法机构等政府部门的安全检查,符合相关数据安全管理规定,应制定完备的安全和服务两方面的运维管理制度和组织机制, 并在运维管理系统中实现相应功能;

●对象存储服务提供商应接受由政府或用户指定的第三方机构的审查和监测;

●实际功能与对象存储服务提供商宣称的功能一致,并应提供详尽的用户使用指南。

(7)服务功能。实际功能与服务协议的功能一致,并提供以下文档:

●提供用户使用指南;

●提供与承诺相符的业务功能的材料,即云服务商应能提供用户有关使用其云服务产品的操作指导/说明、安全参考框架等资料;

●必须涵盖如下功能示范,即新增一条数据、修改一条数据、下载一条数据、删除一条数据、查询一条数据,上述功能可以通过API 、页面、工具、代码等的任意一种或几种方式实现。

(8)服务可用性。具体包括:

●服务资源调配能力:服务商应能按照服务协议中承诺的时间,完成用户需求的扩容或缩减;

●故障恢复能力:对象存储服务提供商应具备完善的故障恢复机制,在服务发生故障时,应能在承诺时间内恢复业务至正常水平,并提供完整的故障报告。

4.2.6 IaaS模式

1.资源抽象

资源抽象主要是将下层的物理硬件资源统一进行抽象,抽象成和单个物理硬件无关的资源集合,上层无须关心物理机器的型号,只需专注于具体的资源即可。资源抽象层需要重点做好三件事:

(1)收集和管理具体物理资源。

(2)重新封装抽象的硬件资源属性,使之成为上层可以使用的一个实体,既可以是容器, 也可以是虚拟机或者资源集合。

(3)数据存储问题。业务需要在本机存储数据,为了能够全局调度,需要解决三个场景下的问题:

●数据不需要永久本地存储,但是会实时写到本地的场景,如应用的日志;

●需要永久存储的场景,如数据库数据;

●分布式存储场景中,要做到存储与计算分离。

2.计算负载管理

云计算主机是通过云计算技术将IT 设备的硬件、存储及网络等资源统一虚拟化为相应的资源池,再从资源池分割成独立的虚拟主机(服务器)的产品。

在进行服务器承载能力计算之前,需要明确以下指标:

(1)虚拟化开销。采用虚拟技术之后,会带来额外的CPU和内存开销,包括:

●虚拟架构 CPU 开销:裸金属架构小于5%;

●虚拟架构内存开销:约占该服务器内存容量的2%。

(2)虚拟机调度开销。多个虚拟桌面共享服务器时还将带来虚拟机之间的调度开销,开销会随着虚拟机数量的增加而增加,按中等密度计取,调度开销约占10%。

(3)服务器负荷率。为保证服务器的健康持续运行,服务器CPU 负荷率按80%考虑,服务器内存负荷率按90%考虑。

3.数据存储管理

数据存储管理就是根据不同的应用环境,通过采取合理、安全、有效的方式将数据保存到某些介质上,并能保证有效地访问。总的来讲,它包含两个方面的含义: 一方面,它是数据临时或长期驻留的物理媒介;另一方面,它是保证数据完整安全存放的方式或行为。数据存储是数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储媒介上。数据存储要命名,这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据,表现出动态数据的特征;数据存储反映系统中静止的数据,表现出静态数据的特征。

4.网络管理

网络管理 (Network Management)的定义是监测、控制和记录网络资源的性能和使用情况,以使网络有效运行。网络管理是指网络管理员通过网络管理程序对网络上的资源进行集中化管理的操作,包括配置管理、性能和记账管理、问题管理、操作管理和变化管理等。 一台设备所支持的管理程度反映了该设备的可管理性及可操作性。而交换机的管理功能是指交换机如何控制用户访问交换机,以及用户对交换机的可视程度如何。通常,交换机厂商都提供管理软件或满足要求的第三方管理软件远程管理交换机。一般的交换机满足SNMP/MIB/MIBIⅡ统计管理功能,复杂一些的交换机会通过内置RMON组(mini-RMON)来支持RMON主动监视功能。

考虑到未来网络有较大的扩展空间,同时需具备良好的电源和网络条件。为了保证满足弹性扩展的需求,云化网络系统在设计时需遵循下述原则:

●安全性、可靠性和容错性:由于云平台业务具有向外部用户、内部业务部门提供数据类服务的性质,决定了其网络设计的首要原则就是,保证用户的设备或内容在一个安全、 可靠的网络环境下进行信息安全可靠地传输和处理。

●开放式、标准化:网络平台的目的在于互连不同制造厂商的设备,实现计算机软、硬件资源的数据交换。为此必须建立一个由开放式、标准化的网络系统组成的平台,来满足 当前可实现的应用要求,又能适应今后系统扩展的需要。

●可扩展性:网络结构分层次设计,网络设备采用模块化、堆栈式的系统结构,为今后随着业务的发展完善、各种特色增值业务的部署,提供一个灵活方便的升级和扩充的途径。

●实用性、先进性、成熟性:通信和计算机技术的发展日新月异。因此,方案不仅要能适应新技术的发展要求,保证计算机网络的先进性,同时也要兼顾成熟的网络技术和经济 实用性。

●大容量:云计算中心不但要提供高带宽和多业务,而且能随时升级网络以满足将来的业务需要,包括提供多种接入端口,满足不同带宽的专线接入业务等。

●可管理性:网络运维平台可以提供7×24小时不间断的网络监控、技术服务与支持,标准监控程序每隔5分钟会检测网络连接状况,出现问题立即告警并及时通知用户。控制 中心同时提供恒温、恒湿的机房环境,以及自动防火告警等服务。

5.安全服务

加强网络信息系统的安全性,对抗安全攻击而采取的一系列措施称为安全服务。安全服务的主要内容包括安全机制、安全连接、安全协议和安全策略等,它们能在一定程度上弥补和完善现有操作系统和网络信息系统的安全漏洞。

(1)硬件安全要求:

●系统使用的设备不能是已停产或即将停产的设备,软件应是定制开发后通过测试验证的软件的最新稳定版本,采用先进的技术,设备运行稳定、可靠,具有很好的可扩充能 力,提供较强的处理能力;

●数据存储采用IPSAN 方式,配置物理热备盘,常用或重要的数据采用RAID 0+1方式存储;

●所有硬件产品应能够正常安装在机架/机柜中;

●高可靠性及低维护成本、较低的业务/应用开发成本;

●提供及时的维护服务和全面的技术支持;

●硬件设备均应提供双电源、多电源配置。

(2)云平台软件安全要求:包括虚拟机安全、数据安全、访问安全、接口安全、系统安全和信息安全。

(3)存储与备份安全:

●存储安全:存储设备应具有极高的可靠性。系统应有良好的备份手段。系统数据和业务数据可联机备份、联机恢复,恢复的数据必须保持其完整性和一致性。存储重要数据采

用RAID0+1存储。

●备份安全:系统应提供安全可靠的联机数据备份功能,支持系统的双机备份功能;卖方应提供有关数据备份的详细说明,包括备份方式、备份周期、备份介质和相关软件的列表,备份策略制定必须充分考虑出现异常时数据的恢复。

6.计费

云服务计费平台,指通过精确可靠地采集IaaS 、PaaS  和 SaaS 服务资源的各种指标数据,依据一定的计费算法来计算出所提供服务资源的费用,或者预测服务可能产生的费用,并将这些信息展示给用户和云服务的提供商的平台。同时,它还应结合第三方平台,提供便捷的支付手段。

4.2.7 PaaS模式

1. 中间件

中间件是一类连接软件和应用的计算机软件或服务,它通过网络进行交互。该技术所提供的互操作性,推动了分布式体系架构的演进,该架构通常用于支持并简化那些复杂的分布式应用程序,包括Web 服务器、事务监控器和消息队列软件。

1)中间件的定义

中间件是一种独立的系统软件或服务程序,分布式应用软件借助这种软件在不同的技术之间共享资源,中间件位于客户机服务器的操作系统之上,管理计算资源和网络通信。

2)中间件的基本功能

中间件是独立的系统级软件,连接操作系统层和应用程序层,屏蔽具体操作的细节,为不同操作系统提供应用的接口标准化、协议统一化。中间件一般提供如下功能:

●通信支持:中间件为其所支持的应用软件提供平台化的运行环境,该环境屏蔽底层通信之间的接口差异,实现互操作。

●应用支持:中间件的目的是服务上层应用,提供应用层不同服务之间的互操作机制。它为上层应用开发提供统一的平台和运行环境,并封装不同操作系统,向应用提供统一的 标准接口,使应用的开发和运行与操作系统无关,实现其独立性。中间件的松耦合结 构、标准的封装服务接口,有效的互操作机制,都能给应用结构化和开发方法提供有力 的支持。

●公共服务:公共服务是对应用软件中的共性功能或约束的提取,将这些共性功能或约束分类实现,作为公共服务提供给应用程序使用。通过提供标准、统一的公共服务,可减 少上层应用的开发工作量,缩短应用的开发时间,并有助于提高应用软件的质量。

3)中间件的分类

中间件可分为以下几类:

●事务式中间件:事务式中间件又称事务处理管理程序,是当前使用最广泛的中间件之 一,其主要功能是提供联机事务处理所需要的通信、并发访问控制、事务控制、资源管理、安全管理、负载平衡、故障恢复和其他必要的服务。

●过程式中间件:过程式中间件又称远程过程调用中间件。过程式中间件一般从逻辑上分为两部分,即客户和服务器。客户和服务器是一个逻辑概念,既可以运行在同一计算机 上,也可以运行在不同的计算机上,甚至客户和服务器底层的操作系统也可以不同。客

户和服务器之间的通信可以使用同步通信,也可以采用线程式异步调用。

●面向消息的中间件:面向消息的中间件(简称“消息中间件”)是一类以消息为载体进 行通信的中间件,利用高效可靠的消息机制来实现不同应用间大量的数据交换。消息中 间件的通信模型有两类,即消息队列和消息传递。通过这两种通信模型,不同应用之间 的通信和网络的复杂性可实现脱离,摆脱对不同通信协议的依赖,可以在复杂的网络环 境中高可靠、高效率地实现安全的异步通信。消息中间件的非直接连接,支持多种通信规程,达到多个系统之间的数据共享和同步。消息中间件是一类常用的中间件。

●面向对象中间件:面向对象中间件又称分布对象中间件,是分布式计算技术和面向对象技术发展的结合,简称对象中间件。分布对象模型是面向对象模型在分布异构环境下的 自然拓广。面向对象中间件给应用层提供多种不同形式的通信服务,通过这些服务,上层应用对事务处理、分布式数据访问、对象管理等的处理更简单易行。对象管理组织 (Object   Management Group,OMG) 是分布对象技术标准化方面的国际组织,它制定了CORBA等标准。

● Web应用服务器:Web应用服务器是 Web服务器和应用服务器相结合的产物。应用服务 器中间件可以说是软件的基础设施,利用构件化技术将应用软件整合到一个确定的协同工作环境中,并提供多种通信机制、事务处理能力及应用的开发管理功能。由于直接支持三层或多层应用系统的开发,应用服务器受到了广大用户的欢迎,是目前中间件市场 上竞争的热点, J2EE 架构是目前应用服务器方面的主流标准。

4)中间件的应用

关注中间件与电子商务的整合。互联网是电子商务发展的基础,让商户可以通过它把商业扩展到能到达的任意地点。这个过程中离不开大量的信息传输,而电子商务则使用B/S 技术来达到大量数据处理的目的。中间件在 B/S 模式下起到了功能层的作用。当用户从 Web 界面向服务器提交了数据请求或者应用请求时,功能层负责将这些请求分类为数据或应用请求,再向数据库发出数据交换申请。数据库对请求进行筛选处理之后,再将所需的数据通过功能层传递回用户端,如此处理,单一用户可以进行点对面的操作,无须通过其他软件进行数据转换。

2.云数据库服务

云数据库服务包括关系型云数据库服务和非关系型云数据库服务两种。其中关系型云数据库服务是一种稳定可靠、可弹性伸缩的在线数据库服务,采用即开即用方式。关系型云数据库服务在技术上兼容MySQL 、SQL  Server 等一种或多种关系型数据库应用调用方式,并提供数据库服务在线扩容、备份回滚、性能监测及分析功能。而非关系型云数据库服务能帮助用户全面、可靠、快速地构建对数据规模、并发访问、扩展能力和实时性要求都很高的应用服务。

3.数据中台

1)数据中台产生背景

数据中台是商业模式的产物,是从流程驱动转向数据驱动的结果。现在比较流行的数据中台可以理解为PaaS。 随着大数据、人工智能新技术的发展,出现了像分布式计算、容器化、机器学习、人工智能等技术框架。这种变化使PaaS 层开始以数据驱动为核心,充分利用数据价值提供服务应用,最终形成数据中台。

2)数据中台的作用

企业需要一个强大的中间层为高频多变的业务提供支撑,为不同受众用户提供多端访问渠道。数据中台能够帮用户快速“找到”数据,明确数据在哪里。通过数据中台相关工具,用户可实现自动化抽取现在运行数据库的库表定义、字段属性和关联关系,实现快速数据位置定位;分析数据使用频度和调用关系,挖掘数据血缘关系,构建网络图谱,实现数据关系高维展示;分析系统搬迁上云,容灾备份和字段变更等。

数据中台能够帮助用户应用数据,发挥数据价值,以数据为驱动,形成数据闭环,不断优化模型算法,动态调整模型,提高模型效率和准确度,更好地挖掘数据价值。

3)数据中台体系架构

广义的数据中台体系包括基础中台、技术中台、数据中台和业务中台,它们合称为“大 中台”。

●基础中台:基础中台为大中台的底层基础支撑,也称为PaaS 容器层,要求平台灵活高效,这就意味着对容器集群管理与容器云平台的选择十分重要,技术运用得是否到位直接影响平台的开发效率和运维程度。

●技术中台:技术中台是随着平台化架构的发展所演进的产物,从技术层面来讲,大中台技术延续平台化架构的高聚合、松耦合、数据高可用、资源易集成等特性,之后结合微服务方式,将企业核心业务下沉至基础设施中,基于前后端分离的模式,为企业打造一个连接一切、集成一切的共享平台。技术中台架构的底层为应用提供层,即企业信息化系统或伙伴客户相关信息化系统等;上层为集成 PaaS层,将服务总线、数据总线、身份管理、门户平台等中间件产品和技术融入,作为技术支撑;数据层通过数据中台,结 合主数据、大数据等技术,发挥数据治理、数据计算、配置分析的能力;服务中台层与 共享服务层共同支持应用层中的行业业务,为用户提供个性化的服务。

●数据中台:数据中台部分用于进行数据管理,打造数字化运营能力。数据中台中不仅包括对业务数据的治理,还包括对海量数据的采集、存储、计算、配置、展现等一系列手段。数据中台主要从系统、社交、网络等渠道采集结构化或半结构、非结构化数据,按照所需的业态选择不同技术手段接入数据,之后将数据存入相应的数据库中进行处理,通过数据治理及数据清洗,保证所需数据的一致性、准确性和完整性,之后将数据抽取 或分发至计算平台中,通过不同的分析手段,根据业务板块、主题进行多维度分析、加工处理,之后得到有价值的数据,用于展现、辅助决策分析。

●业务中台:技术中台从技术角度出发,数据中台从业务数据角度出发,业务中台则从企 业全局角度出发,从整体战略、业务支撑、连接用户、业务创新等方面进行统筹规划, 由基础中台、技术中台、数据中台联合支撑来建设业务中台。业务中台底层是以 PaaS 为核心的互联网中台作为支撑,通常将开源的、外采的、内研的信息化系统、平台等作 为基础的能力封装成核心技术层,通过系统整合、业务流程再造、数据治理分析等一系列活动为企业的业务提供支撑,形成特有的业务层,通过连接上下游伙伴、内外部客户、设备资源系统,建立起平衡的生态环境,最终支撑起业务的发展与创新。

4.容器

容器技术是云原生技术的底层基石,一般说的“容器”都是“Linux 容器”。容器早期是用来在 Chroot环境(隔离 Mount Namespace 的工具)中做进程隔离(使用Namespace和 Cgroups)的。而现在Docker 所用的容器技术和当时并没有本质上的区别。容器的本质,就是一组受到资源限制,彼此间相互隔离的进程。隔离所用到的技术都是由Linux内核本身提供的。其中Namespace用来做访问隔离,Cgroups用来做资源限制。容器就是一种基于操作系统能力的隔离技术。虚拟化技术和容器技术对比如图4-7所示。

可以看出,容器是没有自己的操作系统的,直接共享宿主机的内核,也没有虚拟机监控器这一层进行资源隔离和限制,所有对于容器进程的限制都是基于操作系统本身的能力来进行的,由此容器获得了一个很大的优势,即轻量化,由于没有虚拟机监控器这一层,也没有自己的操作系统,自然占用资源很小,因此镜像文件占用空间也相应要比虚拟机小。

4.2.8  SaaS模式

SaaS, 简言之就是软件部署在云端,让用户通过互联网来使用它,即云服务提供商把系统的应用软件层作为服务出租出去,而消费者可以使用任何云终端设备接入计算机网络,然后通过网页浏览器或者编程接口使用云端的软件。

1.特点

1)SaaS的服务模式

SaaS 的种类与产品已经非常丰富,面向个人用户的服务包括:账务管理、文件管理、照片管理、在线文档编辑、表制作、资源整合、日程表管理、联系人管理等;面向企业用户的服务包括:在线存储管理、网上会议、项目管理、CRM、ERP、人力资源管理 (HRM)、销售管理(STS)、协调办公系统 (EOA)、财务管理、在线广告管理,以及针对特定行业和领域的应用服务等。

与传统软件相比,SaaS 依托于互联网,无论从技术角度还是商务角度都拥有与传统软件不同的特性。在 SaaS 模式下,软件使用者无须购置额外的硬件设备、软件许可证及安装和维护软件系统,只要通过互联网浏览器就可以在任何时间、任何地点轻松地使用软件,并按照使用量定期支付使用费。SaaS云层次架构图如图4-8所示。

SaaS 提供商这时有三种选择:

●租用别人的IaaS 云服务,自己再搭建和管理平台软件层和应用软件层。

●租用别人的 PaaS 云服务,自己再部署和管理应用软件层。

●自己搭建和管理基础设施层、平台软件层和应用软件层。

从云服务消费者的角度来看,SaaS 提供商负责IT 系统的基础设施层、平台软件层和应用软件层,也就是整个 IT 层,最后直接把应用软件出租出去。

2)适合做SaaS 应用软件的特点

适合做SaaS 应用软件的特点具体如下:

●复杂:软件庞大、安装复杂、使用复杂、运维复杂,单独购买价格昂贵,如 ERP、CRM 系统及可靠性工程软件等。

●高效的多用户支持 (Multi-Tenant-Efficient) 特性:当一个用户试图通过某个基于SaaS 模式的CRM 来访问本公司的客户数据时,它所连接的这一基于 SaaS 模式的 CRM 应用 可能正在同时被来自不同企业的成百上千个终端用户所使用,此时所有用户完全不知道 其他并发用户访问的存在。这种在 SaaS 应用中极为常见的场景就要求基于 SaaS 模式的 系统可以支持在多用户间最大程度共享资源的同时,严格区分和隔离属于不同客户的 数据。

●模块化结构:按功能划分成模块,租户需要什么功能就租赁什么模块,也便于按模块计费,如 ERP 系统划分为订单、采购、库存、生产、财物等模块。

●多租户:适合多个企业中的多个用户同时操作,也就是说,使用同一个软件的租户之间互不干扰。租户一般指单位组织, 一个租户包含多个用户。

●多币种、多语言、多时区支持。

●非强交互性软件:如果网络延时过大,那么强交互性软件作为 SaaS 对外出租就不太合适,会大大降低用户的体验度,除非改造成弱交互性软件或者批量输入/输出软件。

2.应用分类与优势

(1)适合云化并以SaaS 模式交付给用户的软件包括:

●企事业单位的业务处理类软件:这类软件一般被单位组织用来处理提供商、员工投资者和客户相关的业务,如开具发票、资金转账、库存管理及客户关系管理等。

●协同工作类软件:这类软件用于团队人员一起工作,团队成员可能都是单位组织内部的员工,也可能包含外部的人员,例如日历系统、邮件系统、屏幕分享工具、协作文档创 作、会议管理及在线游戏。

●办公类软件:这类软件用于提高办公效率,如文字处理、制表、幻灯片编辑与播放工 具,以及数据库程序等。基于SaaS 云服务的办公软件具备协同的特征,便于分享,这 是传统的本地化办公软件所没有的。

●软件工具类:这类软件用来解决安全性或兼容性问题,以及在线软件开发,如文档转换工具、安全扫描和分析工具、合规性检查工具及线上网页开发等。随着互联网进一步延  伸到世界各地,带宽和网速进一步提升,以及云服务提供商通过近距离部署分支云端, 从而进一步降低网络延时,可以预计,能够云化的软件种类将越来越多。

(2)SaaS模式具有的优势具体如下:

●云终端少量安装或不用安装软件:直接通过浏览器访问云端 SaaS 软件,非常方便且具备很好的交互体验,消费者使用的终端设备上无须额外安装客户端软件。配置信息并不 会存放在云终端里,所以不管用户何时何地使用何种终端操作云端的软件,都能看到一 样的软件配置偏好和一致的业务数据,云终端成了无状态设备。

●有效使用软件许可证:软件许可证费用大幅度降低,因为用户只用一个许可证可以在不同的时间登录不同的计算机,而在非 SaaS 模式下,必须为不同的计算机购买不同的许 可证(即使计算机没被使用),从而导致可能过度配置许可证的现象。另外,专门为保 护软件产权而购置的证书管理服务器也不需要了,因为在 SaaS模式下,软件只运行在 云端,软件开发公司只跟云服务提供商打交道并进行软件买卖结算即可。

数据安全性得到提高:对于公共云和云端托管别处的其他云来说,意味着 SaaS 软件操 纵的数据信息存储在云端的服务器中,云服务提供商也许把数据打散并把多份数据副本 存储在多个服务器中,以便提高数据的完整性,但是从消费者的视角看,数据是被集中 存放和管理的。云服务提供商能提供专家管理团队和专业级的管理技术和设备,如合规 性检查、安全扫描、异地备份和灾难恢复,甚至是建立跨城市双活数据中心。

●对于云端就在本地的私有云和社区云来说,好处类似于公共云,无处不在的网络接入使人们再也不用复制数据并随身携带,从而避免数据介质丢失或者被盗。数据集中存放管 理还有利于人们分享数据信息。

●有利于消费者摆脱IT 运维的技术“泥潭”而专注于自己的核心业务: SaaS 云服务消费者只要租赁软件即可,而无须担心底层(基础设施层、平台软件层和应用软件层)的管 理和运维。

●消费者能节约大量前期投资:消费者不用装修机房,不用建设计算机网络,不用购买 服务器,也不用购买和安装各种操作系统和应用软件,这样就能节省成百上千万元的 资金。

SaaS云服务的实际应用包括:电子邮件和在线办公软件、计费开票软件、CRM 、协作工具、CMS、财务软件、销售工具、ERP 、在线翻译等。

4.2.9 云数据中心

从计算机发明至今,数据中心的发展主要经过了四个阶段。从20世纪60年代到20世纪80年代后期为第一代数据中心,主要是用于科研和国防领域科学计算服务的大型计算机专用机房;到1990年前后的机房为第二代数据中心,此时计算机设备进入塔式服务器和小型机房的时代,并出现了专业分工的机房设备制造企业和机房工程实施服务企业;到2000年前后第一次出现了真正意义上的“数据中心”,即以提供互联网数据处理、存储、通信为服务模式的互联网数据中心,称为第三代数据中心;如今云计算的到来,正引领数据中心进入第四代发展阶段—— 云数据中心时代。

1.概念

云数据中心是云计算数据中心(Cloud Computing Data Center,CDC) 的简称,作为支撑云 服务的物理载体,处于云计算技术体系的核心地位。它以基于云计算技术架构为特征,以调度技术及虚拟化技术等为手段,通过建立物理的、可伸缩的、可调度的、模块化的计算资源池,将IT 系统和数据中心基础设施合二为一,以崭新的业务模式向用户提供高性能、低成本、弹性 的持续计算能力、存储服务及网络服务。云计算数据中心包括计算资源、存储资源、电力资源、 交互能力,以及弹性、负载均衡及虚拟化资源部署方式,而所有的计算、存储及网络资源都是以服务的方式提供的。这种新型服务最大的好处在于合理配置整个网络内的资源,提高IT系统能力的利用率,降低成本、节能减排,真正实现数据中心的绿色、集约化。

云数据中心不仅是一个机房设施和网络的概念,还是一个服务概念,它构成了网络基础资源的一部分,提供了一种高端的数据传输服务和高速接入服务。

2.要素

云数据中心是传统数据中心适应市场需求的升级,也是数据中心演进的方向。云数据中心一般具有以下五大要素:

(1)面向服务。云数据中心的整体结构都是以服务为导向的。通过将自身的物理资源进行虚拟化和聚合,以松耦合的方式提供多种服务的综合承载。用户可从服务目录中选择自己所需的各类资源,而云数据中心底层实现这些资源供给的方法对用户是完全透明的。

(2)资源池化。面向服务是云数据中心对外提供服务的宗旨,而资源池化则是云数据中心的实现途径。在云数据中心内部,各类IT 资源和网络资源一起构成了统一的资源池,以便对逻 辑资源和各类物理资源进行去耦合。对于用户而言,所面对的都是以逻辑形式统一存在的资源,用户只需要关注如何使用和操作这些资源,不必关心这些资源与哪些实际物理设备相关联。

(3)高效智能。云数据中心主要基于虚拟化和分布式计算等技术。现代的集群设备成本较低,利用这些低廉的硬件设备可以实现相对高效的信息承载、数据存储与处理。另外,云数据中心可以综合运用各种调度策略,达到负载均衡、资源部署与调度智能化的目的。

(4)按需供给。通过资源池化将物理资源转化为统一的逻辑资源后,云数据中心的底层架构可以根据用户的实际需求对资源实现动态供给。另外,云数据中心还可以根据实际的需求趋势,对底层的物理硬件设备进行智能的容量规划,从而保证在实际需求之前满足供给。

(5)低碳环保。云数据中心中通过虚拟化技术可以实现绿色节能的目标,综合运用各种基于能耗的调度策略,可以在满足需求的前提下有效降低云数据中心设备的投入和运营维护成本。

3.总体架构

云计算技术的发展推动着数据中心架构的变化,云计算架构模式的引入,使数据中心的架构更适应用户业务的快速变化,体现数据中心的敏捷性。通过引入云化技术,对计算、存储、网络等资源进行统一的管理,实现资源的共享,提高企业资源的利用率。在机房设计方面,引入低碳环保理念,通过模块化机房、云主机自动管理技术等构建绿色机房。随着新理念、新技术的引入,云数据中心架构随之出现。云数据中心总体架构是数据中心构建的顶层设计,为数据中心的建设提供重要支撑作用。云数据中心架构自下而上由数据中心机房层、物理资源层、基础设施层、平台服务层、软件服务层、终端用户层六大部分构成。

(1)数据中心机房层是数据中心的基础,为数据中心系统提供基础承载环境。数据中心机房由机房布局、综合布线、机柜、电力系统、消防设施、机房运维中心、制冷系统、监控门禁系统等组成。

(2)物理资源层是指为数据中心信息系统提供物理承载的各类资源,主要有服务器、网络设备、存储设备、安全设备、负载均衡设备等。

(3)基础设施层通过云化技术对物理资源进行虚拟化,以云主机的形式为用户构建虚拟计算资源池、虚拟存储资源池、虚拟网络资源池。

(4)平台服务层为用户提供开发平台、软件运行环境、管理平台等,支持应用软件开发, 为开发用户提供编程语言、程序库、公用服务和工具链方面的支持。

(5)软件服务层为用户提供各种应用业务场景的服务,如电子商务网站、门户网站、社交网站、在线应用软件、移动互联网应用等。

(6)终端用户层是指各类用户(软件开发人员、系统管理维护人员、应用用户、平台运营 商等)通过笔记本电脑、台式计算机、平板电脑、智能手机等接入终端,访问数据中心的软件 服务。

数据中心各层向上提供支撑,数据中心机房层为物理资源层提供承载环境;物理资源层为基础设施层提供基础资源,是虚拟计算资源、虚拟存储资源、虚拟网络资源的基础;平台服务层以基础设施服务为基础,为开发用户提供开发支持能力,为上层软件运行提供环境支持;软件服务层为终端用户层提供各类服务,适应各类应用场景;终端用户层通过各类终端接入数据中心,使用各类软件服务。

4.核心技术

1)网络架构设计

随着网络技术的发展,数据中心已经成为提供IT 网络服务、分布式并行计算等的基础架 构,为加速现代社会信息化建设、加快社会进步发挥着举足轻重的作用。云数据中心对于网络 有高带宽、低时延、高可靠性、高灵活性、低能耗的要求,因此构建云数据中心网络需要具备 以下要素:

●良好的可扩展性。因为随着网络应用的不断发展,更多的服务器将会连接到数据中心中,这就要求数据中心拓扑具有容纳更多服务设备的能力。

●多路径容错能力。为保证拓扑的容错性能,要求拓扑必须具有路径多样性,这样对于链路或服务器故障等都有很好的容错效果,同时并行路径能够提供充裕带宽,当有过量业 务需要传输服务时,网络能动态实现分流,满足数据传输需求。

●低时延。云数据中心为用户提供视频、在线商务、高性能计算等服务时,用户对网络时延比较敏感,需要充分考虑网络的低时延特性要求,实现数据的高速率传输。

●高带宽网络传输能力。数据中心各服务器之间的网络通信量很大且很难预测,达到TB、PB 级,乃至EB 、ZB 级,这就要求拓扑结构能够保证很好的对分带宽,实现更大吞吐 量的数据通信,这样才能有效地保证高带宽的应用请求得到服务响应。

●模块化设计。充分利用模块化设计的优点,实施设备模块化添加、维护、替换等,降低网络布局和扩展的复杂度。另外,充分考虑业务流量特点及服务要求,保证通信频繁的 设备处在同一模块内,降低模块之间的通信量,便于优化网络性能,实现流量均衡。

● 网络扁平化。随着融合网络的发展,网络扁平化要求构建网络的层数尽可能少,以利于网络流量均衡,避免过载,方便管理。

●绿色节能。因云数据中心运营能耗开销甚大,合理的布局有利于数据中心散热,实现降低能耗开销、保护网络设备的目的。

2)网络融合技术

以太网、存储网络及高性能计算网络融合是数据中心网络发展的趋势,通过融合可以实现降低成本、降低管理复杂度、提高安全性等目的。现阶段主要的网络融合技术有光纤以太网通道技术、数据中心桥接技术及多链接透明互连技术等。

3)网络性能测试

网络性能测试是通过测试工具对可用于系统设计、配置和维护的性能参数进行测试,然后得到的一组结果。它与用户的操作和终端性能无关,体现的是网络自身的特性。在视频数据、电子商务等应用场景中,因其数据业务占用带宽大且具有实时性,因此需要有效地对网络进行预测和使用控制手段来保证网络服务质量。网络性能测试可以分析网络承载的关键业务,因此 可采用一定的测试方法来获取网络性能指标,最终确保用户应用服务体验质量。

出于网络的体系结构和安全因素考虑,网络测试技术被广泛使用和研究。在不同层次上 (如网络层、传输层和应用层等)都各自对应着不同的测试指标:

●网络层测试指标主要有连通性、带宽、时延和丢包率;

●传输层测试指标主要有丢包率、吞吐量和连接数;

●应用层测试指标主要有页面丢失率、应答延迟和吞吐量。

网络性能测试一般是利用如ICMP 和 TCP 等网络协议开展测试,主要有主动测试、被动测试及主、被动这两种测试相结合的测试方法。其中,主动测试只需要把测试工具部署在测试源端上,由监测者主动发送探测流去监测网络设备的运行情况,从网络的反馈中观察分析探测流的行为,来评估网络性能,得到需要的信息。被动测试是指在链路或路由器等设备上对网络进行监测,为了解网络设备的运行情况,监测者需要被动地采集网络中现有的标志性数据。主动测试比较适合对端到端的时延、丢包及时延变化等参数的测量,而被动测试则更适用于对路径吞吐量等流量参数的测试。

4)虚拟化技术

虚拟化 (Virtualization)技术最早出现在20世纪60年代的IBM 大型机系统,在20世纪70年代的 System 370系列中逐渐流行起来。这些机器通过一种叫虚拟机监控器 (Virtual Machine Monitor,VMM,又称 Hypervisor) 的程序在物理硬件之上生成许多可以运行独立操作系统软件的 虚拟机 (Virtual Machine,VM)。虚拟化技术的本质在于对计算机系统软硬件资源的划分和抽象。

(1)虚拟化技术层次。

计算机系统包括五个抽象层:硬件抽象层、指令集架构层、操作系统层、库函数层和应用程序层。虚拟化可以在每个抽象层来实现。虚拟化平台是操作系统层虚拟化的实现。在系统虚拟化中,虚拟机是在一个硬件平台上模拟一个或者多个独立的和实际底层硬件相同的执行环境。每个虚拟的执行环境里面可以运行不同的操作系统,即客户机操作系统 (Guest  OS) 。Guest OS 通过虚拟机监控器提供的抽象层来实现对物理资源的访问和操作。目前存在各种各样的虚拟机,但基本上所有虚拟机都基于“计算机硬件+虚拟机监控器(VMM)+客户机操作系统 (Guest OS)”的模型,如图4-9所示。虚拟机监控器是计算机硬件和 Guest OS 之间的一个抽象层,它运行在最高特权级,负责将底层硬件资 源加以抽象,提供给上层运行的多个虚 拟机使用,并且为上层的虚拟机提供多 个隔离的执行环境,使得每个虚拟机都 以为自己在独占整个计算机资源。虚拟 机监控器可以将运行在不同物理机器上的操作系统和应用程序合并到同一台物 理机器上运行,减少了管理成本和能源损耗,并且便于系统的迁移。

(2)常用虚拟化技术包括:

●硬件仿真技术。该技术在宿主机操作系统上创建一个硬件虚拟机来仿真所想要的硬件,

包括客户机需要的CPU指令集和各种外设等。

●全虚拟化技术。该技术以软件模拟的方式呈现给虚拟机一个与真实硬件完全相同的硬件 环境,使得原始硬件设计的操作系统或其他系统软件完全不做任何修改就可以直接运行

在全虚拟化的虚拟机监控器上,兼容性好。

●半虚拟化技术。又称为泛虚拟化技术、准虚拟化技术、协同虚拟化技术或者超虚拟化技术,是指通过暴露给Guest OS一个修改过的硬件抽象,将硬件接口以软件的形式提供

给客户机操作系统。

●硬件辅助虚拟化技术。它是指借助硬件(CPU、芯片组及IO设备等)的虚拟化支持来实现高效的全虚拟化。这主要体现在以软件方式实现内存虚拟化和IO设备虚拟化。

5)安全技术

云计算数据中心安全体系包括安全管理和安全技术,并贯穿于定级、备案、自评估、整改、 测评等安全域中,在安全过程的每一个环节中予以实施。安全管理包括管理制度、管理机构、人员管理、系统建设、系统运维。安全技术需要有效应用在安全计算环境、安全区域边界、安全通信网络、安全管理中心的各个方面。同时,应当充分考虑各部分之间的动态关系与依赖性。云数据中心安全体系架构如图4 - 10所示。

6 )节能技术

从企业角度出发,电能开销是云数据中心运营的重要成本之 一 ;从环境角度出发,保护环境、降低能源消耗也是每个企业应尽的社会责任。传统数据中心运行能耗及制冷能耗开销巨大,由此带来了很大的经济负担,也不利于资源节约及环境保护,因此降低能耗也成为设计建设新一代数据中心的一个重要目标。在建设数据中心的地点选择上,大多数企业会考虑环境温度较 低的地点,从而利用当地适宜的气候和空气进行冷却。在供电方面,对新一代数据中心的供电可以采用风能、太阳能等清洁可再生能源,减少碳排放,应对全球气候变暖问题。同时,可以选择一些功耗较低,具有节能设计的硬件设施,也能有效降低能耗。

电能利用效率 (Power Usage Effectiveness,PUE) 是评价数据中心能源效率的指标,是数据中心消耗的所有能源与IT 负载使用的能源之比。PUE 的值越接近于1,表示一个数据中心的绿色化程度越高。在固定IT 设备不变的条件下,其能耗主要由承载的业务负荷值决定。建立绿色节能、低PUE 的数据中心是提高能源利用效率、降低运营商能耗成本的根本解决途径。

PUE= 数据中心的总用电量/IT 设备的总用电量。

在引进节能技术的同时,应该注意到数据中心机房是一个特殊的应用环境。机房因为通信设备的需求,必须保持恒温、恒湿及少尘的要求。

5.规划与建设

1)功能定位

数据中心的规划由数据中心的性质、商业需求、规模、业务定位、扩展计划、可用性等级、能源效率综合决定。数据中心根据使用的独立性划分为自用型数据中心与商业化数据中心。根据企业不同的业务应用需求,数据中心的使用功能也不尽相同,主要有IT 生产中心、IT 开发与测试中心、灾难备份中心。各类用途的数据中心还可以根据其用户类型、业务领域等进行细分,如互联网数据中心、云计算数据中心、政务级数据中心等。GB  50174《数据中心设计规范》分级的原则是从机房的使用性质、管理要求及重要数据丢失或网络中断在经济或社会上造成的损失或影响程度确定的,从高到低分为A、B、C 三级。国际分级标准TIA-942《数据中心电信 基础设施标准》的分级原则是可用性,从高到低分为T4 、T3 、T2 、T1 四级。

各类型的数据中心呈现出以下发展特点:

●城市数据中心向实时性和弹性化发展。从大数据防疫、智慧城市治理到居民信息消费等 都需要数据中心提供底层算力支撑,面对突如其来的巨大流量,城市数据中心如果不能  提前准备计算资源进行弹性扩容,显然会力不从心。随着我国城镇化进程的加速和5G  商用的落地,未来对时延要求更为敏感的VR/AR、  移动医疗、远程教育等场景将会得 到更加广泛的推广应用,需要贴近用户聚集区域部署数据中心,以保证系统的稳定性和 数据的实时性。此外,城市数据中心需要充分考虑大范围自然灾害等不可控因素影响, 也应该考虑城市数据中心的异地灾备,保障数据的安全性和业务的连续性。

●边缘数据中心实现计算能力下沉。随着5G、AI 和工业互联网的发展,很多业务场景需 要超低的网络时延和海量、异构、多样性的数据接入,“云计算+边缘计算”的新型数 据处理模式使云端数据处理能力下沉,未来大多数的数据需要边缘计算处理,对边缘数 据中心的需求将迅猛增长。同时,边缘计算与处于中心位置的云计算之间的算力协同成 为新的技术难题,需要在边缘计算、云计算及网络之间实现云网协同、云边协同和边边协同,才能实现资源利用的最优化。

●数据中心和网络建设协同布局。构建基于云、网、边、端深度融合的算力网络,满足在 云、网、边、端之间按需分配和灵活调度计算资源、存储资源等需求。实施网络扁平化 改造,推动大型数据中心聚集区升级建设互联网骨干核心节点或互联网交换中心。推进 数据中心之间建设超高速、低时延、高可靠的数据中心直联网络,满足数据中心跨地域 资源调度和互访需求。根据业务场景、时延、安全、容量等要求,在基站到核心网络节 点之间的不同位置上合理部署边缘计算,形成多级协同的边缘计算网络架构。

●试点探索建设国际化数据中心。面对全球广阔的市场前景,在自贸区、“一带一路”沿线地区等对外开放前沿地区试点探索国际化数据中心,面向亚太及全球市场,探索利用 更优路由、更低时延、更低成本服务国际用户。数据中心企业加强云计算、人工智能、 区块链等能力建设,丰富服务种类,提高国际竞争能力,创新商业模式,积极拓展海外 市场。

2)建设项目分类

云计算数据中心的建设应在遵循安全适用的基础上,以合理控制投资、降低成本、提高投入产出比为指导原则。建设项目分类主要包括建筑工程、机房空调与配电工程、供电系统工程、 机房工艺工程等方面。

●建筑工程:主要包括机房楼和动力中心工程,包括土建工程、外立面装饰工程、室内装饰工程、动力照明及防雷接地工程、火灾自动报警系统、给水排水及水消防工程、气体 消防工程、通风及防排烟工程、辅助用房空调工程、智能化系统、电梯工程等。

●机房空调与配电工程:主要包括机房防静电架空地板(含保温工程)、机房空调工程、 空调配电工程、空调自控系统等。

●供电系统工程:主要包括列头配电工程、UPS 电源工程、变配电工程、油机工程、监控系统及外市电引入、变电站工程等。

●机房工艺工程:主要包括数据中心机房内的服务器机柜、走线架、尾纤槽、列头柜至服务器机柜的电力电缆及服务器机柜接地电缆、主配线区至各数据机房水平配线区的综合 布线及相关安装工程等。

3)建设布局

(1)数据中心的选址要求具体如下:

●数据中心总体规划应符合国家、上级主管部门、城市规划等部门的总体规划要求。

●电力供给充足且稳定可靠,通信快速畅通,交通便捷。

●采用水蒸发冷却方式制冷的数据中心,水源应充足。

●自然环境应清洁,环境温度应有利于节约能源。

●应远离产生粉尘、油烟、有害气体及生产或贮存具有腐蚀性、易燃、易爆物品的场所。

●应远离水灾、火灾及地震等自然灾害隐患区域,应避开低洼、潮湿、落雷频率高、盐害重 和地震频繁的地方,避免设在矿山“采空区”及杂填土、淤泥、流沙层、地层断裂地区。

●应尽量远离无线电干扰源、电波发射塔等强磁干扰,远离强振动源和强噪声源。当无法 避开强电磁场干扰或为保障计算机系统信息安全,需采取有效的电磁屏蔽措施。

● A级数据中心不宜建在公共停车库的正上方。

●大中型数据中心不宜建在住宅小区和商业区内。

●设置在建筑物内局部区域的数据中心,在确定主机房的位置时,应对安全、设备运输、 管线敷设、雷电感应、结构荷载、水患及空调系统室外设备的安装位置等问题进行综合  分析和经济比较。

(2)数据中心的空间平面布局。

数据中心建设是一个综合的工程,应该针对所选数据中心建筑物的状况,进行数据中心的功能区的划分,合理布局。云数据中心由机房区、辅助区、支持区、行政管理区与总控中心区等功能区组成。其中,辅助区、行政管理区及支持区中的柴油发电机室和冷水主机房,在布局上需作为一个共享基础设施模块加以整体考虑;而机房区则可结合支持区中的变配电室、电力室、电池室、末端空调机房、消防设施用房,设计成一个个规模大小合适、高内聚、低耦合、可复制、标准化的基本单元模块。

(3)数据中心的功能单元布局的总体原则。

为顺应发展趋势,同时尽可能避免因空间布局不当而引发的种种问题,数据中心各功能单元在布局设计上应遵循如下主要原则:

●整体性原则。数据中心整体布局应在最初规划阶段进行统一考虑,统筹初期建设规模与远期发展规划协调一致。对于同类建筑体内的各基本单元模块应具有较强的通用性。

●安全性原则。应从建筑安全性、区域逻辑管理安全性、运行管理安全性、配套基础设施安全性等不同维度进行空间布局的总体规划。

●模块化原则。数据中心各功能单元应遵循模块化设计理念,其核心思想是将数据中心分解成多个相对独立的标准化模块,以达到简化设计、按需扩容的目的。每个模块相对独 立,其他模块的部署与改造不会影响现有模块内设备的运行,即符合低耦合特性。

●灵活性及可扩展性原则。单元模块力求标准化,应易于扩展,将来能方便平滑地对原有模块进行升级和更新。在平面设计上,数据中心内隔墙应具有一定的可变性。布局可按  中、远期发展的趋势,适当预留设备扩展和变化的空间,从而为未来的发展奠定基础。 总体上,至少能满足未来5~10年内业务变化对数据中心资源的无缝增长需求。

●可维护性原则。具体包括:

◇ 各功能单元内的设备排列间距合理,留有维护所需的操作空间。

◇ 充分考虑设备搬运、替换所需的通道,要人货分离,并考虑大型设备搬运的便 利性。

●经济性原则。具体包括:

◇ 各功能单元内的设备排布尽可能紧凑,以使建筑面积得以充分利用。

◇ 各功能单元之间的相对位置尽可能合理,使得需连通的管线距离缩短,减少投资与 损耗。

◇ 各基本单元模块的容量规划尽可能匹配,使得数据中心能运行在高效率、低 PUE

的工况下,减少运营成本。

(4)数据中心的各功能单元之间的布局建议具体如下:

●数据中心的共享基础设施模块,由于所涉及的设备体积大、承重要求高,柴油发电机室和冷水主机房一般设置于底层,且靠近外墙。两者之间应避免相邻,建议布局于建筑物 的两侧,中间可考虑设置网管监控室及其他辅助或行政管理用房作为缓冲隔离。

●在数据中心运行大脑——总控中心区(网管监控室)的布局上,应关注几个细节:出于  以人为本的考虑,网管监控室建议靠近建筑外墙一侧,可以实现自然通风和自然采光;由于网管监控室人员出入较频繁,建议设置在靠近人流线路起点的区域,不宜设在物流起点的区域;网管监控室与主机房或其他核心基础设施区域之间应能设置物理或逻辑隔离装置,譬如门禁系统,以保证主机房或核心基础设施的安全。同样,客户用房与主机房或其他核心基础设施区域之间也要做到安全隔离。

●除共享基础设施模块外,应结合变压器容量及相互之间的对应关系,将包括主机房、变配电室、电力室、电池室、末端空调机房、消防设施用房在内的多个功能单元作为一个基本单元模块加以统一考虑。具体可结合数据中心所在建筑楼层数及单层面积,在水平和垂直两个方向上进行布局。如果建筑物形态较为狭长,可考虑先做水平切分,然后利用垂直空间来跨楼层部署基本单元模块,以避免电源走线过长的问题。同时,变配电室的位置应尽可能靠近电力室与柴油发电机室, 一般在水平或垂直方向紧邻电力室为宜。

● 出于安全考虑,互为冗余备份的功能单元不应相邻布置。垂直方向上应尽可能规划布局相同功能的单元。主机房、变配电室、电力室、电池室不应布置在用水区域的直接下方,以防水患。

●在数据中心内,人流区域与物流区域应界限分明,以减少相互间功能性使用冲突。使物流通道位于数据中心非重点区域,减少对其他功能区域的干扰。

(5)数据中心的各功能单元内部的布局建议具体如下:

●主机房单元。机架排布所形成的冷热通道与机房两侧末端空调的出风方向保持水平。针对那些需求不明确且后期变动可能性较大的机房,可采用列头柜集中靠墙布放方式。

●供配电单元。供配电单元主要包括变配电室、电力室、电池室三个功能区。视情况可考虑将变配电室与电力室合设,不做物理分隔,以减少配套面积和消防保护区数量。出于安全考虑,不建议将电力室和电池室合设。单元内设备排布所形成的通道与两侧末端空调的出风方向保持水平。若将互为冗余备份的设备放置在同一物理空间内,则在布局上应尽可能将其远离,避免发生故障时相互影响、干扰。

●末端空调单元。在不影响维护及日后更新改造的前提下,各末端空调之间的距离建议适当紧凑,最好能在靠中间位置留出后续设备扩容所需的安装空间。

4.2.10  新基建背景下的数据中心产业发展

新型基础设施建设致力于科技端的基础设施建设,主要包括5G 基站建设、特高压、城际高速铁路和城市轨道交通、新能源汽车充电桩、大数据中心、人工智能、工业互联网七大领域,涉及诸多产业链,是以新发展为理念,以技术创新为驱动,以信息网络为基础,面向高质量发展需要,提供数字转型、智能升级、融合创新等服务的基础设施体系。与传统基建相比,新基建更加侧重于突出产业转型升级的新方向,无论是人工智能还是物联网,都体现出加快推进产业高端化发展的大趋势。

新基建对数据中心提出新要求,大型数据中心对海量数据处理能力和能耗水平提出更高要求。海量数据将推动数据中心向超大规模发展。与此同时,数据中心对于电力、土地等资源的消耗也将日益增长,大型和超大型数据中心需在更大地域范围内进行选址,进一步降低综合成本和能耗水平。为保障用户数据访问和数据中心互连,需要配合大型数据中心布局来优化骨干网络组织架构,推进互联网技术升级,满足数据中心互连对网络资源的弹性需求和性能要求。

近年来,多地纷纷投资建设数据中心,但这些数据中心大多各自为政、相互分离,缺乏一 体化的战略规划,容易造成烟囱效应和重复浪费。在新基建的背景下,数据中心建设应当加强统筹协调,立足国家战略层面,从全局角度进行顶层设计,为数据中心全国统筹布局提供战略性、方向性指引。同时,数据中心发展规划也要与网络建设、数据灾备等统筹考虑、协同布局,实现全国数据中心优化布局。各地因地制宜,差异化规划布局数据中心。新基建浪潮下,数据中心的建设不能简单重复传统基建的方式方法,各地需因地制宜,找准自身定位,开展数据中心规划布局。具体原则包括:

(1)对于仍存在较大需求缺口的北、上、广、深等热点城市,综合考虑数据中心对计算能力提升效率和降低能耗之间的平衡,支持建设支撑5G、人工智能、工业互联网等新技术发展的数据中心,保证城市基本计算需求,或在区域一体化的概念下,在周边统筹考虑数据中心建设。

(2)对于各区域的中心城市,时延敏感、以实时应用为主的业务可选择在用户聚集地区, 依据市场需求灵活部署大中型数据中心。

(3)对于中西部能源富集地区,可利用自身能源充足、气候适宜的优势建设承接东部地区对时延敏感不高且具有海量数据处理能力的大型、超大型数据中心。

(4)对于部分对时延极为敏感的业务,如VR/AR、车联网等,需要最大限度贴近用户部署 边缘数据中心,满足用户的需求。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/890292
推荐阅读
相关标签
  

闽ICP备14008679号