Cloud Computing 云计算基础_云计算基础(云计算基本概念,虚拟化、容器化、分 布式计算、分布式存储等)

Cloud Computing 云计算基础

本文的目的是为了帮助那些对云计算所包括的技术常识、应用架构；服务器/存储/数据通信的基本原理；操作系统/虚拟化技术的实现方式；涉及到实际应用的云服务器、云电脑的方案和概述不甚了解的同事，快速有效的建立正确的概念，方便日常工作。
云计算是一个非常宽泛的概念，它所包含的技术细节纷繁复杂。本文所涉猎的都是非常基础的概念性内容，如有错误不妥之处，还请指正。

1.云计算概述

1.1 IT发展趋势

1.1.1 什么是IT

1.1.1.1 我们身边的IT

IT技术，也就是Internet Technology，互联网技术。它是指在计算机技术的基础上开发建立的一种信息技术 [1] 。互联网技术通过计算机网络的广域网使不同的设备相互连接，加快信息的传输速度和拓宽信息的获取渠道，促进各种不同的软件应用的开发，改变了人们的生活和学习方式。互联网技术的普遍应用，是进入信息社会的标志。
它是信息技术技术行业的统称，也是信息处理的总集，IT 包括了软件、硬件、通信以及它们相关服务等等。
而在我们身边的 IT 技术正在改变我们的生活，例如通过 APP 承接和下发订单的打车软件，通过互联网进行实时语音通话的通讯软件，通过 APP 提供网上购物体验的电子商城等。这些形形色色的 IT 软件和硬件正在颠覆和改变我们的生活和工作。

1.1.1.2 IT的核心

传统的 IT 基础架构由常见的硬件和软件组件构成：设施、数据中心、服务器、网络硬件、桌面计算机，以及企业应用软件解决方案。而新时代下的 IT 架构有了一些新的变化。如图所示，在 IT 基础硬件之上有了云的出现，后续的应用开发以及软件的部署也都将基于云基础设施来进行。云的出现，很大程度上改变了互联网的 IT 基础架构，同时也解决了很多传统 IT面临的挑战。

1.1.2 传统 IT 面临的挑战

1.1.2.1 信息大爆炸已经加速到来

随着移动互联网、全联接时代的到来，越来越多的终端设备被投入使用，每天都会有大量的数据产生，传统的 IT 基础设施也在面临着前所未有的挑战。而互联网的发展阶段，我们大致可以将它分为三个阶段，PC 时代、移动互联网时代以及物联网时代。
PC 时代，人们使用个人电脑通过互联网进行互联。移动时代，大家通过各种移动设备，如手机、Pad 等移动终端进行互联。随着 5G 时代的到来，所有的电脑，手机，智能终端，都能连接到一起，进入万物互联的时代。
万物互联到来后，整个产业的布局和竞争是生态的竞争。从过去的经验看，PC 时代到了移动时代，再到万物互联时代，每个时代形成之后，生态一开始是高速变化的，然后趋于稳态，当稳态的时候很难再改变它。PC 时代是 Windows 系统和 x86 芯片架构为代表的时代，上面有许许多多的应用。到了移动时代，这个时候的 ARM 芯片架构上面有 IOS、安卓系统，它们上面又有各种各样的应用。
互联网经历了两代，现在正在开启第三代，也就是万物互联。每一代互联网相比上一代，从设备的数量和市场的规模，都会有巨大的增长，这是未来的机会所在。 每一代互联网都有掌握产业链的龙头公司，从 PC 时代的英特尔和微软，到今天的 ARM 和 Google，而未来谁能掌握核心芯片和操作系统，就会成为新的产业链霸主。

1.1.2.1 传统 IT 面临的挑战

随着互联网的发展，迅速攀升的互联网普及率给企业带来了大量的流量，用户以及数据。与此同时，为了能够匹配企业高速发展的进度，企业就需要不断地采购传统 IT 设备，时间一长，使用传统 IT 架构的弊端就逐渐显示出来：

• 由于设备采购周期长等原因，导致新业务系统上线慢。
• 传统 IT 的集中式架构扩展性差，纵向扩展只能增加单机处理性能。
• 传统硬件设备孤立存在，可靠性只能依赖软件侧。
• 设备种类多，厂商多，导致管理十分复杂。
• 单个设备性能有限。
• 设备整体利用率不高，企业总成本支出居高不下。

由此可见，传统的 IT 基础架构设施已经无法满足于企业自身业务快速发展的需求。而企业的发展不可能因此而停缓，所以必定需要有新的 IT 架构来满足企业的需求。于是 IT 的架构就开始了它的演进。

1.1.3 IT 的发展趋势

如图所示，企业 IT 架构的演进经历了传统企业 IT 架构—>虚拟化架构—>企业云化 IT 架构。传统 IT 基础架构由通常的硬件和软件组件组成：设施、数据中心、服务器、网络硬件和企业应用软件解决方案。与其他基础架构类型相比，这种基础架构设置通常需要更多的电力、物理空间和资金。而且传统基础架构往往安装在本地，仅供企业自身来进行使用。
虚拟化架构的主要改变是将底层物理硬件先进行虚拟化，然后在虚拟化资源环境中再部署企业的业务系统以及其他基础 IT 应用。虚拟化是指计算机软件应用在虚拟的硬件上运行而不是直接在真实的基础硬件上运行。虚拟化技术可以提升硬件的资源利用率，简化软件的重新配置过程。
云化架构则是在虚拟化基础上的进一步发展，整个企业的基础 IT 架构应用了云的技术，包括了各类虚拟化技术、分布式技术、自动化运维技术等等。云化让整个企业 IT 资源进行整合，资源的使用和调度更加高效，IT 运维更加自动化，IT 的服务更加自助化。

其中，企业数据中心“云化”转型的要点主要有以下几点：

• 从资源孤岛到真正资源池化；
• 从集中式向分布式架构转型；
• 从专用硬件向开放的软件定义模式转型；
• 从人工处理向自助、自动服务转型；
• 从分散统计到统一计量转型。

根据某国际权威数据统计机构的报告，自 2015 年开始，全球 IT 产业增长的 1/3 来自云计算相关产业的发展，且其中的增长率百分比都是由云计算产业贡献。传统 IT 基础架构对 IT 产业的贡献几乎陷入了停滞、甚至在近年还有衰退的趋势。
于是，我们不难得出这样一个结论。未来企业 IT 的基础架构都将慢慢被云化的架构所代替，无论这个企业是互联网类型的企业，还是传统行业类型的企业。并且，这个现象也正在全球各地发生着。目前，美国企业 IT 架构云化的比例大概在 70%，国内的比例在 40%左右。这个数字根据统计也是在逐年增长。

1.2 云计算简介

以云计算为基础的相关产业成为 IT 产业主流，而这个平台的基石就是计算机和虚拟化技术，在讲解云计算之前让我们首先来简单了解下计算机和虚拟化技术的发展

1.2.1 计算机发展史

1.2.1.1 什么是计算机

计算机是现代一种用于高速计算的电子计算机器，可以进行数值计算，又可以进行逻辑计算，还具有存储记忆功能。是能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。
对于我们自身来说，提到计算机，我们首先想到的就是台式、笔记本电脑以及服务器。并且，上文介绍到的数据中心里的存储设备、网络设备、安全设备等都是计算机设备。

1.2.1.2 计算机发展史

• 计算工具的演化经历了由简单到复杂、从低级到高级的不同阶段，例如从“结绳记事”中的绳结到算筹、算盘计算尺、机械计算机等。它们在不同的历史时期发挥了各自的历史作用，同时也启发了现代电子计算机的研制思想。
  1889年，美国科学家赫尔曼·何乐礼研制出以电力为基础的电动制表机，用以储存计算资料。
  1930年，美国科学家范内瓦·布什造出世界上首台模拟电子计算机。
  1946年2月14日，由美国军方定制的世界上第一台电子计算机“电子数字积分计算机”（ENIAC ElectronicNumerical And Calculator）在美国宾夕法尼亚大学问世了。ENIAC（中文名：埃尼阿克）是美国奥伯丁武器试验场为了满足计算弹道需要而研制成的，这台计算器使用了17840支电子管，大小为80英尺×8英尺，重达28t（吨），功耗为170kW，其运算速度为每秒5000次的加法运算，造价约为487000美元。ENIAC的问世具有划时代的意义，表明电子计算机时代的到来。在以后60多年里，计算机技术以惊人的速度发展，没有任何一门技术的性能价格比能在30年内增长6个数量级。
• 第一代计算机：电子管数字机（1946—1958年）
  硬件方面，逻辑元件采用的是真空电子管，主存储器采用汞延迟线、阴极射线示波管静电存储器、磁鼓、磁芯；外存储器采用的是磁带。软件方面采用的是机器语言、汇编语言。应用领域以军事和科学计算为主。
  缺点是体积大、功耗高、可靠性差。速度慢（一般为每秒数千次至数万次）、价格昂贵，但为以后的计算机发展奠定了基础。
• 第二代计算机：晶体管数字机（1958—1964年）
  软件方面的操作系统、高级语言及其编译程序应用领域以科学计算和事务处理为主，并开始进入工业控制领域。特点是体积缩小、能耗降低、可靠性提高、运算速度提高（一般为每秒数10万次，可高达300万次）、性能比第1代计算机有很大的提高。
• 第三代计算机：集成电路数字机（1964—1970年）
  硬件方面，逻辑元件采用中、小规模集成电路（MSI、SSI），主存储器仍采用磁芯。软件方面出现了分时操作系统以及结构化、规模化程序设计方法。特点是速度更快（一般为每秒数百万次至数千万次），而且可靠性有了显著提高，价格进一步下降，产品走向了通用化、系列化和标准化等。应用领域开始进入文字处理和图形图像处理领域。
• 第四代计算机：大规模集成电路计算机（1970年至今）
  硬件方面，逻辑元件采用大规模和超大规模集成电路（LSI和VLSI）。软件方面出现了数据库管理系统、网络管理系统和面向对象语言等。1971年世界上第一台微处理器在美国硅谷诞生，开创了微型计算机的新时代。应用领域从科学计算、事务管理、过程控制逐步走向家庭。
  由于集成技术的发展，半导体芯片的集成度更高，每块芯片可容纳数万乃至数百万个晶体管，并且可以把运算器和控制器都集中在一个芯片上、从而出现了微处理器，并且可以用微处理器和大规模、超大规模集成电路组装成微型计算机，就是我们常说的微电脑或PC机。微型计算机体积小，价格便宜，使用方便，但它的功能和运算速度已经达到甚至超过了过去的大型计算机。另一方面，利用大规模、超大规模集成电路制造的各种逻辑芯片，已经制成了体积并不很大，但运算速度可达一亿甚至几十亿次的巨型计算机。我国继1983年研制成功每秒运算一亿次的银河Ⅰ这型巨型机以后，又于1993年研制成功每秒运算十亿次的银河Ⅱ型通用并行巨型计算机。这一时期还产生了新一代的程序设计语言以及数据库管理系统和网络软件等。
  
• 1889 年，美国科学家赫尔曼·何乐礼研制出以电力为基础的电动制表机，用以储存计算资料。
• 1930 年，美国科学家范内瓦·布什造出世界上首台模拟电子计算机。
• 1946 年，美国军方定制了世界上第一台电子计算机“电子数字积分计算机”。
• 1950 年，第一台并行计算机问世，实现了计算机之父“冯.诺伊曼”的两个设想：采用二进制和存储程序。
• 1954 年，IBM 公司制造的第一台使用晶体管的计算机，增加了浮点运算，使计算能力有了很大提高。
• 1970 年，IBM S/370，这是 IBM 更新换代的重要产品，采用了大规模集成电路代替磁芯存储，小规模集成电路作为逻辑元件，并使用虚拟存储器技术，将硬件和软件分离开来，从而明确了软件的价值。
• 1975 年，MITS 制造世界上第一台微型计算机。
• 1977 年，第一个带有彩色图形的个人计算机。
• 1998 年，带有 128K 二级高速缓存的赛扬处理器成为广大装机者的最爱，同时 64M 内存和 15 寸显示器开始成为标准配置。
• 1999 年，部分品牌厂商开始将 Pentium III CPU 作为电脑的一个卖点，64 M 内存和 6.4 G 硬盘开始成为电脑的标准配置。
• 2001 年至今，Pentium 4 CPU 和 Pentium 4 赛扬 CPU 开始成为电脑的标准配置，内存由 SDRAM 实现了向 DDR 的过渡，同时 17 寸 CRT 显示器或者 15 寸液晶显示器开始成为用户的首选，硬盘逐渐向 40 G 以上的容量发展。

如需要更进一步的了解，请移步 计算机组成原理。

1.2.2 虚拟化技术发展史

1.2.2.1 什么是虚拟化

虚拟化（Virtualization）的含义很广泛。将任何一种形式的资源抽象成另一种形式的技术都是虚拟化，是资源的一种逻辑表示。而对于服务器虚拟化来说，虚拟化就是使得在一台物理服务器上可以跑多台虚拟机，虚拟机共享物理机的 CPU、内存、IO 硬件资源，但逻辑上虚拟机之间是相互隔离的。虚拟化也是云计算实现的重要基础。

在图，我们可以看到左边是虚拟化前的架构形态。企业在购置服务器之后，为服务器安装业务操作系统，然后再部署企业的系统应用以及需要的基础环境。
在这个传统企业 IT 架构中，第一，每台服务器的资源都是独立的，比如服务器 1 的资源比较空闲，服务器 2 的资源很紧张，但它们之间的资源是不能互通有无的，不能让资源得到充分的利用；第二，因为业务操作系统直接部署在硬件之上，操作系统的各种硬件驱动也必须要适配底层的物理服务器，也就是说操作系统与硬件存在一个紧耦合的关系，一旦我们需要将原来的系统应用迁移到其他不同厂家的物理服务器时，会变得非常麻烦，需要考虑各种兼容性问题。
而在虚拟化架构中，企业采购物理服务器后，先在服务器上部署虚拟化层对其进行虚拟化，使得各个服务器的硬件资源变成虚拟化资源并形成资源池。然后再基于这个虚拟化资源池创建虚拟机，让虚拟机成为原先企业业务应用的承载体。这个模式架构中，资源抽象成为了共享资源池，大大提升了资源的利用率，使得资源不再是独立的；物理硬件和业务操作系统之间也隔了一层虚拟化层，使得上层操作系统与硬件解耦，我们只需保持虚拟机的虚拟硬件结构一致即可便捷地进行业务应用移动的需求。

1.2.2.2 虚拟化发展史

虚拟化的发展也有比较长的一段时间了。

• 1993 年，IBM 推出可升级的 POWER 并行系统，这是第一款采用 RS/6000 技术，基于微处理器的超级计算机。
• 1998 年，著名的 x86 仿真模拟器 Bochs 发布。
• 1998 年，VMware 成立，1999 年推出了可以流畅运行的商业虚拟化软件VMware Workstation。从此虚拟化技术终于走下了大型机的神坛。
• 1999 年，IBM 在 AS/400 上第一次提出了 LPAR（Logical Partition，逻辑分区）虚拟化技术。
• 2000 年，Citrix（思杰）桌面虚拟化产品发布。
• 2004 年，IBM 发布了虚拟化解决方案 APV（Advanced Power Virtualization），支持资源共享。该方案在 2008 年改名为 PowerVM。
• 2005 年，Xen 3.0.0 发布，该版本可以在 32 位服务器上运行，是第一个支持Intel VT-x 的虚拟机监控程序。
• 2006 年，以色列的创业公司 Qumranet 在完成了虚拟化 Hypervisor 基本功能、动态迁移以及主要的性能优化之后，正式对外宣布了 KVM（Kernel-based Virtual Machine，基于内核的虚拟机）的诞生。
• 2006 至今，云计算与大数据时代。
• 2007 年，德国 InnoTek 公司开发了 VirtualBox 虚拟化软件。
• 2008 年，Linux Container（LXC）发布 0.1.0 版本，可以提供轻量级的虚拟化。
• 2010 年，红帽发布 RHEL 6.0，这个版本将默认安装的 Xen 虚拟化机制彻底去除，仅提供 KVM 虚拟化机制。
• 2015 年，Kubernetes v1.0 发布，进入云原生时代。

1.2.3 云计算的发展史

1.2.3.1 什么是云计算

云计算自发展至今，关于云计算的定义，业界的描述是众说纷纭。其中广为接受的说法是美国国家标准与技术研究院（NTSI）的定义：云计算是一种模型，它可以实现随时随地、便捷地、随需应变地从可配置计算资源共享池中获取所需的资源（例如，网络、服务器、存储、应
用及服务），资源能够快速供应并释放，使管理资源的工作量和与服务提供商的交互减小到最低限度。
说明一下定义中的重点：

1. 云计算不是技术，而是一种模型。
2. 通过云计算，用户可以使用的资源包括网络、服务器、存储、应用及服务等，这些资源全部属于 IT 领域，云计算的目标就是让大众像获取水电一样获取到 IT 服务。
3. 资源的使用可以随时随地，前面我们讲过云计算的特点，“随时随地”的前提是网络可达。
4. 资源能够快速供应并释放对应了云计算快速弹性伸缩的特点，而与服务提供商的交互减小到最低限度对应了按需自助服务。

除了从这种角度来认识云计算之外，还可以从另一个角度来认识云计算。我们可以将云计算拆分为“云”与“计算”来进行理解。“云”其实是网络、互联网的一种比喻说法，即表示互联网与建立互联网所需要的底层基础设施的抽象体。而“计算”指的是能够提供足够强大的计算服务（包括各种功能，资源，存储）的计算资源整合。因此“云计算”可以理解为：通过互联网，我们可以使用由足够强大的“计算机”为用户提供的资源服务，而这种服务的使用量可以使用统一的单位来描述。
虽然云计算的概念众说纷纭，但是云计算确确实实是应用到我们身边的方方面面了。接下来，就为大家介绍我们身边的云计算。

1.2.3.2 生活中的云计算

• 网易云音乐
• Icloud
• 百度网盘

如果没有云计算，我们要实现这些服务就需要手动将文件拷贝到其他的硬盘上，然后再通过这个硬盘分享给别人或者恢复数据。而现在，我们通过客户端工具，无论它是被安装在手机上还是 PC 上，只要连接互联网并指定需要备份的文件夹，数据就会被自动上传到共享资源池中来代替硬盘，这种模式就是云计算。使用了云计算后，资源池是共享的，所以通过分享，其他人很容易就可以将这些数据下载下来，另外，通过一定的技术手段，还可以自动进行数据同步。

1.2.3.3 工作中的云计算

• 云服务器
• 云电脑
• 视频会议

1.2.3.4 云计算的发展

云计算理念从最初诞生至今，企业 IT 架构从传统非云架构，向目标云化架构的演进，总结来说，经历了如下三大里程碑发展阶段：

• 云计算 1.0：面向数据中心管理员的 IT 基础设施资源虚拟化阶段。该阶段的关键特征体现为通过计算虚拟化技术的引入，将企业 IT 应用与底层的基础设施彻底分离解耦，将多个企业IT 应用实例及运行环境（客户机操作系统）复用在相同的物理服务器上，并通过虚拟化集群调度软件，将更多的 IT 应用复用在更少的服务器节点上，从而实现资源利用效率的提升。
• 云计算 2.0：面向基础设施云租户和云用户的资源服务化与管理自动化阶段。该阶段的关键特征体现为通过管理平面的基础设施标准化服务与资源调度自动化软件的引入，以及数据平面的软件定义存储和软件定义网络技术，面向内部和外部的租户，将原本需要通过数据中心管理员人工干预的基础设施资源，复杂低效的申请、释放与配置过程，转变为在必要的限定条件下（比如资源配额、权限审批等）的一键式全自动化资源发放服务过程。这个转变大幅提升了企业 IT 应用所需的基础设施资源的快速敏捷发放能力，缩短了企业 IT 应用上线所需的基础设施资源准备周期，将企业基础设施的静态滚动规划转变为动态资源的弹性按需供给过程。这个转变同时为企业 IT 支撑其核心业务走向敏捷，更好地应对瞬息万变的企业业务竞争与发展环境奠定了基础。云计算 2.0 阶段面向云租户的基础设施资源服务供给，可以是虚拟机形式，可以是容器 （轻量化虚拟机）形式，也可以是物理机形式。该阶段的企业 IT 云化演进，暂时还不涉及基础设施层之上的企业 IT 应用与中间件、数据库软件架构的变化。
• 云计算 3.0：面向企业 IT 应用开发者及管理维护者的企业应用架构的分布式微服务化和企业数据架构的互联网化，重构及大数据智能化阶段。该阶段的关键特征体现为企业 IT 自身的应用架构逐步从（依托于传统商业数据库和中间件商业套件，为每个业务应用领域专门设计的、烟囱式的、高复杂度的、有状态的、规模庞大的）纵向扩展应用分层架构体系，走向（依托开源增强的、跨不同业务应用领域高度共享的）数据库、中间件平台服务层以及（功能更加轻量化解耦、数据与应用逻辑彻底分离的）分布式无状态化架构，从而使得企业 IT 在支撑企业业务敏捷化、智能化以及资源利用效率提升方面迈上一个新的高度和台阶，并为企业创新业务的快速迭代开发铺平了道路。

针对上述三大云计算发展演进里程碑阶段而言，云计算 1.0 普遍已经是过去式，但是它仍然是云计算的基石。此外，一部分行业、企业客户已完成初步规模的云计算 2.0 建设商用，正在考虑该阶段的进一步扩容，以及面向云计算 3.0 的演进；而另一部分客户则正在从云计算 1.0 走向云计算 2.0，甚至同步展开云计算 2.0 和 3.0 的演进评估与实施。

1.2.4 云计算的价值

1.2.4.1 按需自助服务

提到按需自助的特点，大家最先想到的可能就是超市，每个顾客在超市里都可以按照自己的需求挑选需要的商品，如果是同类商品，可以自己查看说明、价格、品牌，按照性价比或者其他因素来决定购买哪一款。同样的，用户可以根据自己的需求下载不同 APP购买需要的服务，在整个下载或者购买过程中，基本不需要他人帮忙，可以自行完成下载或者购买。

按需自助的前提是了解自己的需求，并知道哪款产品能够解决这个需求。在超市中，有很多的商品，在云计算提供商的官网上也一样有很多类型的云产品，如图，在购买以前，用户需要购买哪种产品，就像去超市以前，顾客需