云计算与大数据作业 21大数据 刘佳琪_云计算结课大作业

第一章 云计算

1.云计算的定义

维基百科：云计算是一种动态扩展的计算模式，通过计算机网络将虚拟化的资源作为服务提供给用户。

2.大数据的四个特点（4V）
（1）数据量大（Volume）：数据量十分巨大，已经从TB级别跃升到PB级别
（2）数据类型繁多（Variety）：分为结构化数据（10%），非结构化数据（90%），非结构化数据包含半结构化数据；结构化数据指存储在关系数据库种的数据，后者种类繁多，包括邮件、音频、视频、微信、微博、位置信息、链接信息、手机呼叫信息，网络日志等
（3）处理速度快（Velocity）：实时分析结果、秒级响应
（4）价值密度低（Value）：价值密度远低于传统关系数据库种已有的那些数据

什么是云计算：像水、电、煤（资源性产品）一样利用你的IT资源（计算机存储网络资源）

关键词：按需使用、超大规模、高弹性

定义：指按需求使用IT资源和应用程序，通过互联网，按使用量付费。

3.四种云：

公有云——提供公共的IT资源

缺点：保密性低

私有云——提供给政府、学校等地

优点：保密性高

社区云——研究人员使用

混合云——包含以上任意两种

4.生活中的例子：

出行论：自己买车开车     混合云

吃饭论：餐厅       公有云

在家做饭：私有云

在家+厨师：混合云

酒店论：酒店：公有云

家：私有云

5.云计算的基本特征:

资源无限量供应

提供自助式服务

远程提供服务

资源可控

按使用量付费

6.云计算发展背景:

20世纪60年代，计算机革命

20世纪90年代，互联网革命

1994年→web（单向传递）

2004年→web（双向传递）

2010年，移动互联网革命

7.云计算的概念模型:

用户的公共性

设备的多样性

商业模式的服务性

提供方式的灵活性

8.云计算的分类
（1）、基础设施云（Infrastructure Cloud）为用户提供的是底层的、接近于直接操作硬件资源的服务接口，通过调用这些接口，用户可以直接获得计算和存储能力，而且相当灵活自如，几乎不受逻辑上的限制。用户需要进行大量工作来设计和实现自己的应用。因为基础设施云除了为用户提供计算和存储等基础功能外，不进一步做任何应用类型的假设。

（2）、平台云（PlatformCloud）为用户提供一个托管平台，用户可以将他们开发和运营的应用托管到云平台中。但是，这个应用的开发部署必须遵守该平台特定的规则和限制。

（3）、应用云（ApplicationCloud）为用户提供可以为其直接所有的应用,这些应用一般是基于浏览器的，针对某一一项特定的功能。但是，它们是灵活性最低的，因为一种应用云只针对一种特定的功能，无法提供其他功能的应用。

9.云计算的特点 ：

虚拟化技术、动态可扩展性、按需部署、灵活性高、可靠性高、性价比高、地理分布、先进安全技术。

10.云计算的主要服务模式 ：

第一层：IaaS     第二层：SaaS     第三层：PaaS

（1）.IaaS(基础设施即服务)

关键技术：虚拟化技术

（2）.PaaS(平台及服务)（编程）数据库服务、web技术

特点：简化开发人员、提供PC端或软件端的开发套件、丰富的开发环境、完全可托管的数据库服务、可配置式的应用程序的构建、支持多语言的开发、面向市场

关键技术：分布式计算、分布式存储

3.SaaS（软件即服务）

关键技术：多租户技术

4.三种服务的区别

（1）IaaS——最底层

提供基础设施服务

（2）PaaS——提供软件

部署平台

（3）SaaS——拿来即用

例：云计算服务=做饭做菜

云计算服务提供商=饭店

IaaS：提供厨房、锅具等，不提供食材和技术

PaaS——提供厨房、切好的食材，不提供：技术

SaaS：提供厨房、食材、技术

IaaS——租车

PaaS——租车+司机

SaaS——坐公交

第二章  大数据

1.什么是大数据：在一定时间范围内用常规软件工具进行捕捉，管理和处理数据集合。

2.经典案例：（1）.啤酒和尿布（2）.谷歌和流感

3.大数据的范围：采集、储存、搜索、共享、传输、分析和可视化

4.内存：运行速度

5.储存：储存容量

6.大数据历程

1887年—1890年：电功器

19444年：预见大数据

1997年：用大数据描述超级计算机产生的大量信息

2003—2006年：谷歌提出大数据可重用方案

2008年：提出大数据概念

2009年：大数据逐渐走进互联网

2012年：大数据成为一种新的资产类别

2013年大数据元年

7.1zb=10亿TB

各数据量单位：KB>MB>GB>TB>PB>EB>ZB>YB>NB>DB

1位（二进制0或1）

1字节（8位）——1个英文字母或二进制8位数

1文字=2字节=16位

8.四范式 ：

实验→理论→计算→数据

9.大数据的特征 ：（1）、大量化：存储量大、增量大（2）、多样化：来源多（搜索引擎、社交网络）格式多（结构化数据、非结构化数据）（3）、快速化（4）、有价值

10.大数据的关键技术

（1）.大数据预处理技术：数据采集、数据存取、基础架构支持、计算结果展现

（2）.大数据存储技术：存储设备能持久可靠的存储数据、提供可伸缩接口、提供高数查询，更新操作

（3）.大数据分析技术：数据处理、统计与分析、数据挖掘、模型预测

（4）.大数据计算技术 ：

大数据的典型计算架构 ：Hadoop→处理本地数据、spark→收集并更新、storm→延迟毫秒级

第三章 虚拟化技术

1、虚拟化定义 ：作为一种计算机资源管理技术，将各种的IT实体资源抽象转化为另一种形式的技术

2、大数据（Big data或Megadata）：大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间达到截取、管理、处理、并整理成为人类所能解读的形式的信息。

3、大数据特点①Volume：数据量大，包括采集、存储和计算的量都非常大

4、数据中心：处理和存储海量数据的地方，英文全称为Data Center。用专业的名词解释，数据中心是全球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。一般来讲，数据中心主要有几大部分构成：机房（建筑物本身）、供配电系统、制冷系统、网络设备、服务器设备、存储设备等。

5、大数据与云计算的区别与联系：

区别：（1）云计算侧重于提供资源和应用的网络化交付方法；大数据侧重于应对大的数据量所带来的技术挑战。（2）云计算的核心是业务模式，其本质是数据处理技术，数据是资产，云计算为数据资产提供了存储访问的场所和计算能力。云计算更偏重大数据的存储和计算以及提供云计算服务运行云应用；大数据的核心作用是盘活数据资产的能力，从数据中挖掘价值核对数据进行预测性分析，为国家治理、企业决策乃至个人生活提供服务。（3）云计算是基础设施架构，大数据是思想方法。大数据技术将帮助人们从大体量、高度复杂的数据中分析、挖掘信息，从而发现价值和预测趋势。

联系：云计算与大数据是一对相辅相成的概念，他们描述了面向数据时代信息技术的两个方面。

6、常见的虚拟化技术：用户体验虚拟化、应用程序虚拟化、桌面虚拟化、服务虚拟化、操作系统虚拟化、服务器虚拟化、存储虚拟化、网络虚拟化。

7、KVM和Xen的区别1、KVM（性能）：（1）全虚拟化（2）内置在内核中（3）便于版本安装、升级和维护（4）性能好2、Xen（安全）：（1）半虚拟化（2）需要修改内核（3）更新版本，重新编辑整个内核（4）隔离好

8、虚拟化技术的特点有哪些？（1）分区：可分为多个虚拟（2）相对硬件独立：屏蔽底层硬件不兼容问题

9.为什么要使用虚拟化技术？（1）减少物理资源投入，节约成本（2）虚拟数据资源迁移方便（3）提高物理资源的使用率（4）更加环保，节约能源（5）易于自动化维护与操作，减少维护成本（6）数据安全更有保障

10.什么是Iaas，Paas，Saas并写出他们三个之间的区别Lass：基础设施即服务（最底层）：提供基础设施服务Paas：平台即服务：提供软件部署平台Saas：软件即服务：拿来即用

区别：（1）.从用户体验角度分析:SaaS：主要面对的是普通用户PaaS：主要的用户使开发人员IaaS：主要的用户是具有专业知识系统的管理员（2）.从技术角度分析：即SaaS可以基于PaaS；PaaS基于IaaS；SaaS可以是基于PaaS或者直接部署于IaaS之上；PaaS可以构建于IaaS之上，也可以之间构建在物理虚拟化技术的分类网络虚拟化，将不同网络的硬件和软件资源结合成一个虚拟的整体

11.常用的虚拟化技术可以划分为全虚拟化、半虚拟化、操作系统虚拟化、硬件辅助虚拟化4种。

第四章 数据中心

1.数据中心的基本概念： 数据中心，顾名思义就是数据的中心，是处理和存储海量数据的地方，英文全称为Data Center。用专业的名词解释，数据中心是全球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。数据中心实际上就是我们个人电脑的扩大版，你的家用电脑就是你个人的数据中心。一般来讲，数据中心主要有几大部分构成：机房（建筑物本身）、供配电系统、制冷系统、网络设备、服务器设备、存储设备。

2.机房：机房是数据中心的载体。广义上，机房包含了其内部所有的构成要素；狭义上，机房则指的是具体的钢筋水泥建筑物。数据中心一般都有一栋或者数栋大楼组成，这些大楼里面又划隔为若干个区域，用来放置各类设备，这些房子就叫做机房。

3.供配电系统：供配电系统是数据中心的能源基础。不管什么设备工作都需要电，数据中心的运转也一样离不开电。数据中心供配电系统主要由交流不间断系统、直流不间断系统、电池、高低压配电、发电机构成。

4.制冷系统：制冷系统是数据中心的散热器。夏天如果户外温度升到40度以上，很多人就会感到非常难受，数据中心也一样。一旦数据中心内部机房超过40度，很多设备会出现高温告警，甚至高温保护。大部分数据中心机房内部的温度保持在25℃左右，这就需要一个连续稳定的制冷系统不断将机房内部设备运转产生的热量及时排除。数据中心要想长期对外服务，制冷系统是必不可少的。

5.网络设备：网络设备为数据中心构建对内、对外高速的传输通路。在这个信息爆炸的时代，没有网络的话，电脑和手机的使用价值就大打折扣。同样，数据中心也需要一直连着网络，没有与外界网络连接的数据中心只是一个信息孤岛，发挥不了任何作用。数据中心内部有大量的路由器、交换机、传输设备在支撑其数据的运输流转，大型的数据中心几乎涉及到所有网络相关的设备。

6.服务器设备：服务器设备是数据中心的心脏，负责数据中心海量数据的处理。对于个人来说，一般家里就只有一台电脑，安装十来个程序游戏。而对于数据中心来说，服务器设备就有成千上万台。并且数据中心的服务器设备品种多样，如果性能上来看，有小型机、大型机、X86服务器等；如果从外形上看，则可以分为塔式服务器、机架服务器、刀片式服务器、高密度服务器等。

7.存储设备：存储设备是海量数据储存的地方，是用于储存信息的设备。很多大型的数据中心都配备有存储服务器，专门用于存储数据和提供数据服务。数据中心的存储设备可不像我们家里的电脑就一两块硬盘那么简单，数据中心的存储能力通常都是PB级以上。

8.数据中心的主要职能是存储和处理数据，传统的数据处理都是在硬件设备上加大投入，以保证数据中心的有效运行。近年来，随着大数据等新兴IT技术的发展与成熟，使得数据中心获得了空前的发展，硬件设备和软件都取得了很大进步。

9.数据中心未来的发展趋势将呈现以下几大方面：（1） 绿色化：数据中心规模的剧增带来了运营成本的大幅提高，其中电力成本是最主要的运营成本，如何提升电源利用效率(PUE，越低越好)成为各大数据中心大户的一大课题。（2） 模块化部署：云计算和移动互联网的发展给数据中心的部署就绪时间提出了更高要求，目前整机柜、集装箱部署模式可将数据中心的建设周期大幅缩短。（3） 自动化：随着数据中心规模的不断扩大，传统模式所需的运维力量大幅增加，成本不断增加。（4） 虚拟化与软件定义化：虚拟化可以极大地提高数据中心的资源利用效率，并已得到广泛应用。而软件定义技术，为大规模用户提供快速灵活的多租户异构资源配置、隔离和供应，为客户快速提供虚拟化数据中心业务，让每个客户都感觉拥有独立的一体化数据中心。（5） 集约化和集群化部署：集群化部署，相当于将多个数据中心形成一体，大二层网络建设成为趋势，SDN在这里有用武之地。而集约化部署则可以节省数据中心之间的交互成本，也有利于降低部署和运维成本。（6） 安全与可信：安全性不仅是指防火墙、IPS/IDS、入侵检测、防病毒等安全防范措施，更包括火灾、飓风及其他灾害应对。因此，数据中心建设在初始阶段就应该构建可靠的灾难恢复方案，或建立异地的灾难备份中心。

10.数据中心的基本概念：数据中心，顾名思义就是数据的中心，是处理和存储海量数据的地方，英文全称为Data Center。用专业的名词解释，数据中心是全球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。一般来讲，数据中心主要有几大部分构成：机房（建筑物本身）、供配电系统、制冷系统、网络设备、服务器设备、存储设备等。