云计算与云存储 期中试卷_云计算期中测试

( 2022 －2023  学年第 1 学期)

信息工程学院     班（年）级 课程   云计算与云存储

一、单项选择题(每题 3 分，共 21 分)

1.OpenStack 是一个由NASA（美国国家航空航天局）和 Rackspace 合作研发并发起的，以 Apache 许可证授权的自由软件和开放源代码项目。openstack 技术属于（）架构的实现。（A ）

（A）基础设置即服务；       （B）平台即服务；

（C）软件即服务；           （D）硬件即服务；

2.云端资源只给两个或者两个以上的特定单位组织内的员工使用，除此之外的人和机构都无权租赁和使用云端计算资源，例如，深圳地区的酒店联盟组建的关于酒店方面的云服务，这种云服务属于（B）

（A）私有云；           （B）社区云；

（C）公有云；           （D）混合云；

3.下列哪个支持将 RDD  数据长久地保存在磁盘文件中进行数据重用      (B)

（A）cache() ；          （B）checkpoint()；

（C）persist ()；           （D）memory();

4.软件架构的演变过程很漫长，经历了几十年发展，主要经历了从（）的过程。(A)

(A)单体架构-分布式架构-SOA 架构-微服务架构

(B)分布式架构-单体架构-微服务架构- SOA 架构

(C)单体架构-微服务架构-分布式架构-SOA 架构

(D)分布式架构- SOA 架构-单体架构-微服务架构

5.当需要比较多个服务器在不同长度的时间段内的性能时，由于不同组数据的测量尺度相差太大，或者数据量纲的不同，使用()指标可以较好地消除测量尺度和量纲对结果的影响。      （ C）

（A）平均值；             （B）方差；

（C）变异系数；           （D）标准差；

6.软件系统的高可靠性（也称为可用性，英文描述为 HA，High Available）里有个衡量其可靠性的标准——9 的个数。5 个 9 表示在该软件系统在连续运行 1 年时间里最多可能的业务中断时间是 （ D）

（A）87.6  小时；          （B）8.76 小时；

（C）52.6 分钟；           （D）5.26 分钟；

7.将键值对 RDD 中具有相同键的元素进行分组，可以使用什么操作:   (B)

（A）sortByKey()；                            （B）groupByKey()；

（C）reduceByKey()；                       （D）keys()；

二、多项选择题(每题 4 分，共 8 分)

1.Spark 的设计遵循“一个软件需要满足不同应用场景”的理念，逐渐形成了一套完整的生态系统，可以支持以下哪些操作计算：     （ABCD）

（A）图计算（GraphX)；               （B）SQL 即席查询（Spark SQL)；

（C）机器学习（MLlib）；             （D）流式计算（Spark Streaming）;

2.spark 的部署模式有：       （ABCD）

（A）本地模式；                           （B）standalone 模式；

（C）spark on yarn 模式；            （D）mesos 模式;

三、简答题（每题 10 分，共 60 分）

• 1. 云计算技术主要有三个显著特点：资源池化，弹性伸缩，安全可靠，分别对这三个特点进行简要的描述（10 分）。

1. 资源池化: “云”具有相当的规模，支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。
2. 云计算不针对特定的应用，同一个“云”可以同时支撑不同的应用运行， “云”的规模可以动态伸缩，满足应用和用户规模增长的需要。
3. 安全可靠：“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。

• 2. RDD 之间的依赖关系可以分为窄依赖和宽依赖，请对窄依赖和宽依赖分别进行介绍并举例说明（10 分）。

        窄依赖：是指每个父RDD的一个Partition最多被子RDD的一个Partition所使用，例如map、                          filter、union等操作都会产生窄依赖；(独生子女)

        宽依赖：是指一个父RDD的Partition会被多个子RDD的Partition所使用，例如groupByKey、                         reduceByKey、sortByKey等操作都会产生宽依赖；(超生)

• 3. RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。请简要介绍 RDD 的 5 个核心属性（10 分）

1. RDD是由一系列partition组成。(block块对应partition),textFile底层调用的是MR读取hdfs上的数据的方法默认一个block块对应一个split,split的大小和block大小一致,可以自己调整。
2. 函数作用在每一个partition(split)上。
3. RDD之间有一系列的依赖关系(容错机制)。
4. 分区器作用在K,V格式的RDD上。
5. 提供一系列最佳的计算位置。按照“移动数据不如移动计算”的理念，Spark在进行任务调度的时候，会尽可能地将计算任务分配到其所要处理数据块的存储位置。

• 4.  RDD  通过缓存或者检查点技术将前面的计算结果持久化，，并供后面的 RDD 反复用。请简要说明cache，persist 和checkpoint 这 3 种持久化技术的区别。（10 分）。

1. Cache 缓存只是将数据临时保存起来。Cache 缓存的数据通常存储在内存，可靠性低。不切断血缘依赖，只会在血缘关系中添加新的依赖，一旦出现问题，可以重头读取数据。
2. persisit：将数据临时存储在磁盘文件中进行数据重用，涉及到磁盘IO，性能较低，但是数据安全。如果作业执行完毕，临时保存的数据文件就会丢失。
3. CheckPoint：将数据长久地保存在磁盘文件中进行数据重用，涉及到磁盘IO，性能较低，但是数据安全。为了包装数据安全，一般情况下会把当前需要持久化的RDD重新创建并保存。
4. Checkpoint 检查点会切断血缘依赖，重新建立新的血缘关系。
5. cache 机制是每计算出一个要 cache 的 partition 就直接将其 cache 到内存了。但 checkpoint是等到 job 结束后另外启动专门的 job 去完成 checkpoint 。

• 5. Hadoop 的 MR 框架和Spark 框架都是数据处理框架，请简要说明它们关系，以及我们在使用时候如何选择 （10 分）。

1. Spark把运算中数据放到内存中，迭代计算效率会更高；MR的中间结果需要落地磁盘，所以大量的磁盘IO操作，会影响性能
2. MR是基于进程，Spark是基于线程。MR是多进程单线程模型，而Spark是多进程多线程模型；此外，Spark是粗粒度资源申请模式，而MR是细粒度资源申请模式
3. Spark容错性高，它通过弹性分布数据集RDD来实现高容错，RDD是一组分布式存在节点内存中只读性的数据，这些集合是弹性，某一部分数据丢失或出错，可以通过整个数据集的计算流程的血缘来实现重建；MR的容错需要重新计算，成本高。
4. Spark更加通用，Spark提供了transformation和action这两大类多功能API，另外还有流式处理SparkStreaming模块，机器学习、图计算；MR只提供Map和Reduce方法，没有其他模块，MR其实是有机器学习的基本上没有人使用。
5. Spark框架的生态更加丰富，首先由RDD、血缘Lineage，执行时有有向无环图DAG，Stage划分等等，很多时候Spark作业需要在不同场景上运行，此时可以根据不同场景进行调优；MR计算框架相对简单，对性能也相对较弱，单运行稳定，适合长时间在后台运行。