云计算与大数据_云计算系统的建设,云计算任务优化调度,根因溯源

云计算的两种定义

***狭义定义：***一种IT基础设施的交付和使用模式，用户可以借助网络以按需使用、按量计费的方式获得各种硬件和软件资源。
***广义定义：***服务的交付和使用模型，用户可以借助网络获得所需的服务。

云计算的基本特性

***虚拟化资源池：***使用虚拟化技术对硬件资源进行抽象，按用户所需进行资源分配。
***用户自配置资源：***用户可以远程自行管理和配置自己的资源，无须与云服务提供商交互。
***网络访问：***用户可以在任意时间和地点通过网络获取所需的资源。
***弹性使用资源：***支持用户申请扩容和释放资源，实现资源的最优化使用。
***效用计算：***提供可计量的服务，用户仅需要为所用资源付费，降低用户使用IT服务的成本。

云计算的服务模型

***基础设施即服务(laaS) ：***提供存储、网络和防火墙等虚拟化的硬件资源，支持用户动态申请、释放资源。
***平台即服务(PaaS) ：***强调平台的概念，提供操作系统、编程环境、数据库、中间件和Web服务器等作为应用开发和运行的环境，用户可在此环境下开发、部署和运行各种应用。
***软件即服务(SaaS)：***提供立即可用的软件或功能服务模块，如企业资源规划(ERP)和客户关系管理(CRM)等。

云计算的部署模型

***公有云：***将云底层基础设施作为服务提供给一般公众或各行业使用，并将云计算作为一种服务提供给客户。
***私有云：***云底层基础设施专为某个客户搭建，提供对数据的安全性和服务质量最有效的控制。
***社区云：***云底层基础设施结合社区用户的共性需求，由若干个组织共享使用。
***混合云：***云系统基础设施由两个及以上云计算的部署模型组成，通过标准的或特定的技术连接，并达到数据和应用可移植、云间负载平衡等目标。

云计算的产生条件

云计算是在互联网高速发展、资源利用率需求日益增长的背景下产生的计算模式。
综合虚拟化技术、分布式计算、网格计算、效用计算、并行计算等技术，进行发展、混合、演变、跃进。
云计算的产生是由需求驱动的。

云计算的典型特征

***规模庞大：***云计算中心一般都有相当大的规模，通过整合海量的服务器集群，可提供巨大的计算和存储能力。
***资源聚合：***云计算将大规模的分散计算资源和存储资源聚合起来，共同支撑用户完成各种计算任务并满足存储需求。
***虚拟抽象：***云计算基于物理服务器为用户提供虚拟化的服务器，以提高资源利用率;虚拟机之间相互隔离，提高了安全性。
***按需使用，按量计费：***云计算拥有庞大的资源池，云服务使得计算能力可以作为一种公共资源来使用，用户可按照需要购买计算资源，按使用量计费。
***高可靠性：***利用数据多副本备份、资源监控等措施保障系统的高可靠性。
***高扩展性：***服务器可以相对方便简单地并入和退出云，云的规模可根据用户的实际需要动态调整和伸缩。
***高利用率、高性价比：***云计算通过资源聚合等方式使服务器资源得到了充分利用，通过IT资源和按需使用的商业化模式，大幅减少了软件服务成本，实现了使用更少的资源提供更多的服务。

云计算的体系架构

***物理资源层：***最底层的物理资源层由各种软/硬件资源构成。包括计算、网络、存储等各种资源，具体包括服务器集群(计算机)、存储设备、网络设施、数据库和软件等。
***虚拟化资源池层：***云计算普遍利用虚拟化或容器等技术对物理资源进行封装,构建可以共享使用的资源池，从而为上层应用和服务提供支撑。
虚拟化资源池层作为实际物理资源的集成，可以更加有效地对资源进行管理和分配。
***管理中间件层：***管理中间件层的目标是让整个云计算可以有序地运行。
主要负责对云计算的用户、任务、资源和安全等进行管理。
***SOA构建层：***SOA构建层是面向应用和服务的构建层,为各种应用提供各种服务,并且有效地管理各种应用，提供服务注册、服务工作流等。
SOA构建层将云服务进行封装并提供服务接口，用户只需要调用接口就可以方便地使用云服务。

***不同部署模型侧重点：***公开云是不同的单位、机构和个人共享使用的平台，容易存在安全隐患，所以强调对用户应用的隔离。
公开云使用虚拟化、虚拟机或容器等技术对各个用户进行有效的隔离，做到互不干扰，还特别关注使用计费等模块。
私有云更侧重对某个用户需求的满足和服务质量。

云计算的关键技术

***虚拟化技术：***指在物理主机上虚拟出若干台虚拟机，通过虚拟化技术可以隔离高层的应用与底层的硬件，提高资源利用率，降低能源消耗。
分布式并行编程模型技术：最典型的代表是Google提出的MapReduce模型， 主要用于大规模数据集的分布式并行处理。
***分布式数据存储技术：***云计算通过集群系统、分布式文件系统等将不同类型的存储设备集成到网络中，采用分布式存储技术存储海量数据，采用多副本技术保证数据的可靠性。
***分布式任务调度技术：***高效的分布式任务调度策略可以提高云计算的工作效率，保证云计算的服务质量。
***监控管理技术：***包括对计算、存储、网络等物理资源和虚拟化资源的监控，对云服务提供商和云消费者十分重要，是云平台诸多活动的前提。
***云计算安全保障机制：***主要包括身份认证机制、访问控制机制、隔离技术、云数据加密技术、数据完整性验证技术和审计与安全溯源技术。
***云计算网络技术：***云计算数据中心的网络结构、协议、管理、优化对于整个云计算的性能有重要的影响，目前普遍应用SDN和NFV技术。
***绿色节能技术：***绿色计算顺应低碳社会建设的需求，是推动社会可持续发展和科技进步的一个重要方面。可以采用关闭/休眠技术、低功耗硬件和功耗调节技术、动态电压调节技术等实现绿色节能。

数据中心定义

***数据中心：***是全球协作的特定设备网络， 用来在Internet网络基础设施上传递、加速、展示、计算、存储数据信息。
***云数据中心：***可为单一用户或多租客提供高性能的、规模可扩展的服务平台，为搜索引擎、电子商务、电子政务、在线金融、智能制造、智慧城市等应用提供支持。
能够承载成千上万台服务器，不仅是一个单纯的服务器和网络设备托管场所，也是一-个能够提供大规模运算和海量数据存储、实现资源共享和任务高效处理的集中平台。

按照功能区划分，数据中心可以分:

***主机房：***安装和运行数据设备的建筑空间，包括服务器机房、网络机房和存储设备机房等。
***辅助区：***主要负责安装、调试、维护、运行、监控和管理电子信息设备及软件，包括设备维修室、测试机房、消防和安防室等。
***支持区：***主要负责为主机房和辅助区提供动力支持及安全保障，包括配电室、电池室和空调间等。
***行政管理区：***日常行政管理工作人员所在的区域，负责工作人员的管理调度和设备的状态管理等。

云计算与其他技术

***大数据与云计算：***数量庞大的数据，需要云数据中心的支撑。
大数据的获取、清洗、转换、存储、分析和统计等，都需要云计算的基础架构作为支撑。
云计算系统的建设、云计算任务优化调度、根因溯源都是通过大数据分析得到的。
***云计算与区块链：***本质是一种点对点网络下的不可篡改的分布式数据库。
以某种共识算法保障节点间数据的一致性。
以加密算法保证数据的安全性。
通过时间戳和Hash值形成首尾相连的链式结构。
具有公开透明、可验证、不可篡改、可追溯等技术特征。
主要应用于互联网金融、物流、产品供应链等需要追溯的环节和领域。
***区块链技术架构：***应用层:区块链系统上的链式数据具有安全性高和隐私保护能力强等显著特点，使得区块链可以被应用于金融服务等领域。
合约层:集成了各类脚本、算法和智能合约，建立了可监管、可审计的合约形式化规范，是区块链可编程特性的基础。
激励层:激励层将价值度量、账户等集成到区块链中，通过经济激励遵守规则的记账节点，惩罚不遵守规则的节点，使得整个区块链网络朝着良性
循环的方向发展。
共识层:区块链的核心，是区块链网络中各个节点达成一致的方法，能够在决策权高度分散的去中心化系统中使得各节点高效地针对区块数据的有效性达成共识。
网络层:封装了区块链系统的P2P组网方式等，使区块链网络中每一个节点都能参与区块数据的校验和记账过程。
数据层:将底层数据封装成链式结构，通过哈希算法和Merkle树，将某一时间段内接收到的交易记录打包成一种带有时间戳的数据区块，并链接到区块链网络。
云计算与区块链相互支持：
云服务提供商利用云平台支撑区块链的优势主要体现在成本效率、应用生态和安全隐私三个面。
区块链可以加载在云平台之上，和云平台底层进行相应融合。
通过与云服务提供商结合，区块链技术可以被整合打包交付，为应用落地打下了基础。以某种共识算法保障节点间数据的一致性。
区块链的不可篡改性可以使云计算本身变得更加安全可靠，保证数据完整性。

云计算与病毒防御

不但在每一个用户终端上安装杀毒软件，还安装一个探针程序， 通过探针程序收集疑似病毒的样本，将样本打包发送给病毒防御系统的云数据中心。
当系统发现很多用户都提交了相同或者相似的疑似病毒样本时，就可能及时发现新型病毒，从而更快地对病毒进行响应，尽快提供病毒解决案。``
用户越多，根据搜集的样本进行安全分析就越可靠。

云计算与边缘计算

边缘计算将计算任务放在接近数据源的计算资源上运行，将云端计算放到网络边缘，可以有效减小计算系统的延时，减少数据传输带宽，缓解云计算数据中心的压力。
边缘计算的起源可以追溯到Akamai公司提出的内容分发网络以及对等计算技术。
随着对边缘计算研究的深入，学术界和工业界相继提出了雾计算和移动边缘计算等边缘化计算模型。

边缘计算的优势：

***能够带来极低的延时：***边缘计算网络中具有计算能力的设备往往都聚集在用户侧附近，能够实时做出响应。
***能够以极低的带宽运行：***在边缘计算网络中，工作被迁移至用户侧附近，减少了向云端中枢节点发送大量数据的处理请求，降低了带宽限
制所带来的影响。
***具有保护隐私的优点：***有效地减少了隐私数据被上传到云端的机会，有助于保护用户的数据隐私。