云计算与大数据相关知识点_云计算与大数据常用技术介绍

1.云计算关键技术有什么？

(1)虚拟化技术

实现云计算的重要技术支持就是虚拟化技术。虚拟化技术实现了物理资源的逻辑抽象和统一表示，产生了一个虚拟(非实在)的东西，各种不同的软硬件资源就可以形成一个虚拟的资源池，用户和业务应用就能更有效地使用这个资源池，通过虚拟化技术可以提高资源的利用率，且能够按照用户需求变化，快速有效地进行资源部署。

(2)数据存储技术

从安全、经济适用的角度来看，分布式存储方式无疑是云存储的最佳选择，采用多个副本存储同一数据或采用多份备份法，在服务上则采取并行的方法为用户提供所需服务，此外，高传输率也是云计算数据存储技术的一大特色。目前，采用这种数据存储技术的服务商有Google、英特尔等。

(3)大规模数据管理技术

云技术能对海量的数据进行处理、利用的前提是，数据管理技术必须具备高效的管理大量的数据的能力。目前，云计算系统中的数据管理技术主要是Google的Big Table数据管理技术和Hadoop开发的开源数据管理模块HBase。

(4)编程模型

要使用户能够简便、轻松的获取云环境下的编程服务，编程模型必须具备简洁易操作的性能，那样，用户只要通过简单程序编写就能达成既定的目标。此外，编程模型后台复杂的并行执行、任务调度向用户和编程人员保持透明，又是该服务的一大特色。例如Google构造的Map Reduce编程规范就可满足上述要求，过Map和Reduce两个简单概念构成基本的运算单元便可以并行处理海量的数据。Map Reduce既满足了编程模型需要，也满足了任务调度模型的需求，目前使用较广泛。

2.什么是云计算？

云计算（cloud computing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。

3.云计算的主要特点有哪些？

(1)虚拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。

(2)规模化整合。云里的资源非常庞大，在一个企业云可以有几十万甚至上百万台服务器，在一个小型的私有云中也可拥有几百台甚至上千台服务器。

(3)高可靠性。云计算使用了多副本容错技术、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。

(4)高可扩展性。

(5)按需服务。云计算是一个庞大的资源池，使用者可以根据需要来进行购买。

(6)成本低。

4.什么是集群技术？集群的特点是什么？

集群技术是使用特定的连接方式，将相对于超级计算机便宜许多的计算机设备结合起来，提供与超级计算机性能相当的并行处理技术。

集群特点：
1．提供强大处理能力的高性能计算机系统：计算机集群可以通过负载均衡、并行处理、时间片处理等多种形式，将多台计算机形成高性能计算机集群。对用户端（Client）而言，计算机集群则是一个单一的系统，可以为用户提供高性能的计算机系统，而用户不用关心有多少计算机承担了系统实现的任务，而只需要关注系统的整体处理能力。因此，计算机集群可以用多台普通性能的计算机组成具有高性能的计算机系统，承担只有超级计算机才能胜任的工作。

2．提供高可用性的计算机系统：通过计算机集群技术组成的系统，可以确保数据和应用程序对最终用户的高可用性，而不管故障属于什么类型。即当计算机集群中的节点计算机出现软硬件故障的时候，高可用性集群提供了对软件和硬件失败后的接替。它将服务器镜像到备用系统或节点中，当主节点上的系统崩溃时，冗余节点就从替补角色转换到正式角色，并自动投入应用，从而保证了系统运行的不间断。

3．系统具有很强的可伸缩性：在系统的处理能力需要增加的时候，除了通过增加集群中每个计算机节点的单机处理能力（如通过增加CPU数量、增加内存大小等手段）外，还可以通过增加集群节点数，即通过向群集添加新的计算机节点，使服务随着处理器的添加而伸缩，从而增大应用程序吞吐量，以达到增加系统的整体处理能力的目的，完成系统的扩容。

5.什么是MPI？什么是网格计算？什么是云计算？

MPI：是基于计算切分的分布式计算，主节点通过切分计算，将计算放入相应的从节点中，将计算驻留在内存中，从节点负责读取数据然后进行计算，是一种局域范围的计算。
网格计算：是基于计算和数据切分的混合型分布式计算，首先切分计算（计算在一开始就驻入），在计算终端中驻留程序，网格服务器再切分好的数据放入到对应的计算终端，是一种广域范围的计算。
云计算：是基于数据切分的分布式计算，大数据被切分成数据块驻留在内存中，之后主节点将完整的计算程序片驻入从节点中。

6.网格计算，MPI，云计算的区别是什么？（结构，范围，运行原理）

MPI，网格计算，云计算的区别：

7.什么是基于计算切分的分布式计算？

将计算切分后驻留在内存中，如MPI

8.什么是基于数据切分的分布式计算？

将数据切分后驻留在内存中，如云计算

9.什么是基于计算和数据切分的混合型分布式计算？

先切分计算，再切分数据，如网格计算

10.物联网的特点是什么？

标识，感知，处理（云计算与大数据），数据传输。

11.云计算与大数据的关系

大数据的总体架构包括三层：数据存储，数据处理和数据分析。数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。
而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三者相互配合，这让大数据产生最终价值。

---