云计算技术与应用 - 了解认识云计算

• 云计算的背景

互联网自1960年开始兴起，主要用于军方、大型企业等之间的纯文字电子邮件或新闻集群组服务。直到1990年才开始进入普通家庭，随着web网站与电子商务的发展，网络已经成为了目前人们离不开的生活必需品之一。云计算这个概念首次在2006年8月的搜索引擎会议上提出，成为了互联网的第三次革命。

近几年来，云计算也正在成为信息技术产业发展的战略重点，全球的信息技术企业都在纷纷向云计算转型。我们举例来说，每家公司都需要做数据信息化，存储相关的运营数据，进行产品管理，人员管理，财务管理等，而进行这些数据管理的基本设备就是计算机了。

对于一家企业来说，一台计算机的运算能力是远远无法满足数据运算需求的，那么公司就要购置一台运算能力更强的计算机，也就是服务器。而对于规模比较大的企业来说，一台服务器的运算能力显然还是不够的，那就需要企业购置多台服务器，甚至演变成为一个具有多台服务器的数据中心，而且服务器的数量会直接影响这个数据中心的业务处理能力。除了高额的初期建设成本之外，计算机的运营支出中花费在电费上的金钱要比投资成本高得多，再加上计算机和网络的维护支出，这些总的费用是中小型企业难以承担的，于是云计算的概念便应运而生了。

• 云计算的定义

云计算不是一种全新的网络技术，而是一种全新的网络应用概念，云计算的核心概念就是以互联网为中心，在网站上提供快速且安全的云计算服务与数据存储，让每一个使用互联网的人都可以使用网络上的庞大计算资源与数据中心。

• 云计算的简史

在上世纪的90年代，计算机网络出现了大爆炸，出现了以思科为代表以一系列公司，随即网络出现泡沫时代。

在2004年，Web2.0会议举行，Web2.0成为当时的热点，这也标志着互联网泡沫破灭，计算机网络发展进入了一个新的阶段

在2006年8月9日，Google首席执行官埃里克·施密特（Eric Schmidt）在搜索引擎大会（SESSanJose2006）首次提出“云计算”（Cloud Computing）的概念。这是云计算发展史上第一次正式地提出这一概念，有着巨大的历史意义。

2007年以来，“云计算”成为了计算机领域最令人关注的话题之一，同样也是大型企业、互联网建设着力研究的重要方向。因为云计算的提出，互联网技术和IT服务出现了新的模式，引发了一场变革。

在2008年，微软发布其公共云计算平台（Windows Azure Platform），由此拉开了微软的云计算大幕。同样，云计算在国内也掀起一场风波，许多大型网络公司纷纷加入云计算的阵列。

2009年1月，阿里软件在江苏南京建立首个“电子商务云计算中心”。同年11月，中国移动云计算平台“大云”计划启动。到现阶段，云计算已经发展到较为成熟的阶段。

2019年8月17日，北京互联网法院发布《互联网技术司法应用白皮书》。发布会上，北京互联网法院互联网技术司法应用中心揭牌成立

• 云计算平台

云计算平台也称为云平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力。云计算平台可以划分为3类：以数据存储为主的存储型云平台，以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。

• 云计算架构

一般来说，大家比较公认的云架构是划分为基础设施层、平台层和软件服务层三个层次的。对应名称为IaaS，PaaS和SaaS。IaaS, Infrastructure as a Service，中文名为基础设施即服务，有点拗口，大家习惯了就好。如图1所示。

IaaS主要包括计算机服务器、通信设备、存储设备等，能够按需向用户提供的计算能力、存储能力或网络能力等IT基础设施类服务，也就是能在基础设施层面提供的服务。IaaS能够得到成熟应用的核心在于虚拟化技术，通过虚拟化技术可以将形形色色计算设备统一虚拟化为虚拟资源池中的计算资源，将存储设备统一虚拟化为虚拟资源池中的存储资源，将网络设备统一虚拟化为虚拟资源池中的网络资源。当用户订购这些资源时，数据中心管理者直接将订购的份额打包提供给用户，从而实现了IaaS。

PaaS, Platform as a Service，中文名为平台即服务。如果以传统计算机架构中“硬件+操作系统/开发工具+应用软件”的观点来看待，那么云计算的平台层应该提供类似操作系统和开发工具的功能。实际上也的确如此，PaaS定位于通过互联网为用户提供一整套开发、运行和运营应用软件的支撑平台。就像在个人计算机软件开发模式下，程序员可能会在一台装有Windows或Linux操作系统的计算机上使用开发工具开发并部署应用软件一样。微软公司的Windows Azure和谷歌公司的GAE，可以算是PaaS平台中最为知名的两个产品了。

SaaS，软件即服务。简单地说，就是一种通过互联网提供软件服务的软件应用模式。在这种模式下，用户不需要再花费大量投资用于硬件、软件和开发团队的建设，只需要支付一定的租赁费用，就可以通过互联网享受到相应的服务，而且整个系统的维护也由厂商负责。

 

• 云计算关键技术

云计算的关键技术有三大点：

　　

　　⑴虚拟化技术：云计算的虚拟化技术不同于传统的单一虚拟化，它是涵盖整个IT架构的，包括资源、网络、应用和桌面在内的全系统虚拟化，它的优势在于能够把所有硬件设备、软件应用和数据隔离开来，打破硬件配置、软件部署和数据分布的界限，实现IT架构的动态化，实现资源集中管理，使应用能够动态地使用虚拟资源和物理资源，提高系统适应需求和环境的能力。

　　

　　对于信息系统仿真，云计算虚拟化技术的应用意义并不仅仅在于提高资源利用率并降低 成本，更大的意义是提供强大的计算能力。众所周知，信息系统仿真系统是一种具有超大计算量的复杂系统，计算能力对于系统运行效率、精度和可靠性影响很大，而虚拟化技术可以将大量分散的、没有得到充分利用的计算能力，整合到计算高负荷的计算机或服务器上，实现全网资源统一调度使用，从而在存储、传输、运算等多个计算方面达到高效。

　　

　　⑵分布式资源管理技术：信息系统仿真系统在大多数情况下会处在多节点并发执行环境中，要保证系统状态的正确性，必须保证分布数据的一致性。为了分布的一致性问题，计算机界的很多公司和研究人员提出了各种各样的协议，这些协议即是一些需要遵循的规则，也就是说，在云计算出现之前，解决分布的一致性问题是靠众多协议的。但对于大规模，甚至超大规模的分布式系统来说，无法保证各个分系统、子系统都使用同样的协议，也就无法保证分布的一致性问题得到解决。云计算中的分布式资源管理技术圆满解决了这一问题。Google公司的Chubby是最著名的分布式资源管理系统，该系统实现了Chubby服务锁机制，使得解决分布一致性问题的不再仅仅依赖一个协议或者是一个算法，而是有了一个统一的服务(service)。

　　

　　⑶并行编程技术：云计算采用并行编程模式。在并行编程模式下，并发处理、容错、数据分布、负载均衡等细节都被抽象到一个函数库中，通过统一接口，用户大尺度的计算任务被自动并发和分布执行，即将一个任务自动分成多个子任务，并行地处理海量数据。

　　

对于信息系统仿真这种复杂系统的编程来说，并行编程模式是一种颠覆性的革命，它是在网络计算等一系列优秀成果上发展而来的，所以更加淋漓尽致地体现了面向服务的体系架构(SOA)技术。可以预见，如果将这一并行编程模式引入信息系统仿真领域，定会带来信息系统仿真软件建设的跨越式进步。

• Google云计算平台的架构

Google的云计算基础架构模式包括4个相互独立又紧密结合的系统：Google File System分布式文件系统GFS，MapReduce编程模式，分布式的锁机机制Chubby，和大规模分布式数据库BigTable

1. Google File System 文件系统(GFS)

一个GFS集群，包含一个主服务器和多个块服务器

大文件被分割成64MB的块，块服务器把块作为 Linux 文件保存在本地硬盘上，并根据指定的块句柄和字节范围来读写块数据

为保证数据可靠性,每个块被缺省保存 3 个以上的备份（冗余存储）

Master主服务器 存放文件系统所有的元数据,包括名字空间、访问控制、文件到块的映射、块物理位置等相关信息

1. MapReduce 分布式编程环境

Google构造MapReduce编程规范来简化分布式系统的编程

应用程序编写人员只需将精力放在应用程序本身，而关于集群的处理问题，包括可靠性和可扩展性，则交由平台来处理

MapReduce 通过“Map(映射)”和 “Reduce(化简)”这两个简单概念来构成运算基本单元，用户只需提供自己的 Map 函数以及 Reduce 函数即可并行处理海量数据

1. BigTable分布式大规模数据库管理系统

特点：大规模，弱一致性（以应对Google 应用程序需要处理大量格式化以及半格式化数据的需求）

采用列存储的方式，管理的数据存储结构为：<row:string，column:string，time:int64>-->string

基本元素是：行，列，记录板和时间戳   记录板是一段行的集合体

数据库的数据项按行关键字的字典序来排列，将多个行组成一个记录板，每个服务器节点大约管理100个记录板

4.Chubby

一个非常棒的粗粒度锁

高可用、分布式数据锁服务

当有机器失效时，Chubby 使用 Paxos 算法来保证备份的一致性

其中的小型分布式文件系统的每一个单元都可以用来提供锁服务

• 阿里巴巴云计算平台的架构云计算架构

绘制云计算系统架构图