分布式计算----期末复习题（仅供参考）_分布式计算框架期末

一.单选题，每个2分

1.Hadoop之父是下面的哪一位？（B）

A. James Gosling       B.Doug Cutting   C.Matei Zaharia   D.Linus Benedict Torvalds

2.Hadoop中，用于处理或者分析海量数据的组件是哪一个？(  B   )

A.HDFS    B.MapReduce    C.Yarn   D.以上选项都不是

3.HDFS中存储和管理元数据的是哪一项？(C)

A.ResourceManager      B.NodeManager

C.NameNodeD.DataNode

4.用户自己编写Hadoop的MapReduce算法，可以不用实现哪个阶段？      (    B   )

A.MapB.Shuffle     C.ReduceD.main函数

5.在HDFS的/hive/hadoop目录下创建data01目录，正确的一项是 (    B   )

A.mkdir /hive/hadoop/data01

B.hdfs dfs -mkdir /hive/hadoop/data01

C.hdfs dfs -mkdir  /data01

D.hdfs fs -cat /hive/hadoop/data01

6.关于Hadoop的MapReduce的描述，说法正确的一项是？ (   C    )

A.可以用来存储大数据

B.用于管理大数据资源

C.是一个分布式计算框架

D.可以做实时数据分析

7、Hive表中的数据存储在什么地方？ (  D     )

A. MySQL             B. Oracle

C. MapReduce      D. HDFS

8、在MapReduce中，如果将reducer数设置为0会发生怎样的情形  （  b     )

A.仅有Reduce作业发生          B. 仅有Map作业发生

 C. Reducer输出会成为           D .MapReduce无法

9、在MapReduce中，哪个将会对数据按 key 进行分区和排序  (    a   )

A.Shuffle          B.Reducer     

C.Mapper和Reducer      D.Mapper

10、在Hadoop的MapReduce中，Map的数量取决于什么  (    d   )

A.存储数据         B.任务数         C.输出数据        D.输入数据

11、在MapReduce，哪个阶段能够减少网络中数据量传输   (   c    )

A. Shuffle  

B. Reduce 

C. Combiner 

D. Map和Sort

12.格式化NameNode的命令是哪一项              （    a    ）

A.hdfs namenode  –formatB.hdfs format

C.hdfs datanode -format               D.hadoop jar format

13.在Hadoop中，DataNode的作用是什么？     （  b    ）

A.提供WEB端服务器

B.存储数据

C.提供统一的命名服务

D.NameNode提供整个HDFS文件系统的NameSpace管理，块管理等服务

14.Hive的基础架构组件不包括下列那些？           （    b   ）

A.客户端   B.Tez    C.解析器     D.元数据

二.多选题，每个4分

1.常规的大数据项目通常采用的流程包括？    （ ABCD     ）

A.数据的采集 B.数据的存储 C.数据的分析 D.可视化

2.有关Hadoop的MapReduce，下面哪个说法是错误的  (   ABC    )

A. 它提供了资源管理能力

B. 它是开源数据仓库系统，主要用于存储海量数据。

C. 它不能用来处理海量数据

D. 它可以用于海量数据的离线分析。

3.下面关于Hadoop的描述，正确有哪些？ ( ABCD      )

A. HDFS可以用来存储海量数据

B. Yarn是Hadoop2.0起推出的一款资源管理系统

C. Hadoop的MapReduce是一个分布式的计算框架，可以用来处理大数据

D. Hadoop生态适合海量离线数据处理

4.Hadoop一般有三种安装模式，分别是？   (  BCD     )

A.Hadoop Smart模式B.伪分布模式

C.完全分布模式D.本地模式

5.Hadoop的基础组件（三大组件）有哪些？ (   ABC    )

A.MapReduce  B.HDFS   C.Yarn   D.Derby

6.MapReduce的应用场景有哪些？(  ABCD     )

A.单词统计

B.简单的数据统计

C.统计搜索词频率，帮助优化搜索词提示

D.可以进行极大值.极小值统计

7.Hive的架构中Driver有哪些组件？     (  ABCD     )

A.编译器     B.优化器C.执行器D.解析器

8.自定义Writable接口，需要实现下列那些的？ （BCD   ）

A.toString     B.readFields   C.compareTo     D.write

9.Hadoop中资源调度的方式有哪几种？             （ ABC     ）

A.FIFO调度器  B.Capacity调度器   C.Fair 调度器   D.延时调度

三.Java代码走读，并解释其含义

1.

(1)Configuration conf = new Configuration();

(1)Job job = Job.getInstance(conf);

1>（1）配置信息及封装任务

(2)job.setJarByClass(FlowDriver.class);

2>（2）设置jar加载路径

(3)job.setMapperClass(MyMapper.class);

(3)job.setReducerClass(MyReducer.class);

3>（3）设置要运行的map和reduce的类

(4)job.setMapOutputKeyClass(FlowBean.class);

(4)job.setMapOutputValueClass(NullWritable.class);

4>（4）答案：设置map的输出

(5)job.setOutputKeyClass(FlowBean.class);

(5)job.setOutputValueClass(NullWritable.class);

5>（5）设置最终输出的kv类型

2、

public static void myHadoop01() throws Exception {

String uri = "hdfs://HadoopMaster:9000";

Configuration conf = new Configuration();

(1)conf.set("fs.defaultFS",uri );

(2)FileSystem system = FileSystem.get(conf);

(3)FileStatus[] fileStatus = system.listStatus(new Path(uri));

(4)for (FileStatus fs : fileStatus) {

if(fs.isFile()) {

System.out.println("file:" + fs.getPath().toString());

}else {

System.out.println("directory:" + fs.getPath().toString());

}

}

}

代码解释：

（1）设置NameNode的通讯地址

（2）获取FileSystem对象

（3）获取HDFS根目录下的所有文件或者目录

（4）循环打印出HDFS根目录下的所有文件或者目录

3、

public class MyReducerTest extends Reducer<Text, FlowBean, Text, FlowBean> {

FlowBean v = new FlowBean();

@Override

(1)public void reduce(Text key, Iterable<FlowBean> values, Context context) throws IOException, InterruptedException {

long totalUp = 0;

long totalDown = 0;

(2)for (FlowBean value: values) {

(2)    totalUp += value.getUpFlow();

(2)   totalDown +=value.getDownFlow();}

(3)v.set(totalUp, totalDown);

(4)context.write(key, v);

}

}

代码解释：

（1）子类重写父类的reduce方法

（2）遍历每个values, 将其中的上行流量和下行流量进行累加

（3）封装输出的v

（4）输出k,v 键值对

四.程序设计题

实验（九）：开发MapReduce算法，实现单词统计分析

请自己总结，每一段代码大概是什么意思，请同学们自己再看一看。

/**
Map阶段
*/
 
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
 
@Override
 
public void map(LongWritable key, Text value,Context context) throws lOException, InterruptedException {
 
//拿到- -行文本内容，转换成String
 
String line = value.toString0;
 
//将这行文本切分成单词
 
String0 words=line.split(","); I
 
//输出<单词，1>
 
for(String word:words){
 
context.write(new Text(word), new IntWritable(1));
 
}}}

/**
Reduce阶段
public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
@Override
public void reduce(Text key, Iterable <IntWritable> values,Context context) throws lOException, InterruptedException {
//定义一个计数器
int count = 0;
//通过value这个迭代器,遍历这一组kv中所有的value, 进行累加
for(IntWritable value:values){
count+=value.get0;
//输出这个单词的统计结果
context.write(key, new IntWritable(count);
}}

/**
Main方法
*/
 
public class WordCountJobSubmitter {
 
public static void main(String] args) throws lOException, ClassNotFoundException, InterruptedException {
 
Configuration conf = new Configuration0;
 
Job wordCountJob = Job.getInstance(conf);
 
//指定本job所在的jar包
 
wordCountlob. setJarByClass(WordCountJobSubmitter.class);
 
//设置wordCountJob所用的mapper逻辑类为哪个类
 
wordCountJob.setMapperClass(WordCountMapper.class);
 
//设置wordCountJob所用的reducer逻辑类为哪个类
 
wordCountJob. setReducerClass(WordCountReducer.class);
 
//设置map阶段输出的kv数据类型
 
wordCountJob. setMapOutputKeyClass(Text.class);
 
wordCountob.setMapOutputValueClass(IntWritable.class);
 
//设置最终输出的kv数据类型
 
wordCountJob. setOutputKeyClass(Text.class);
 
wordCountJob.setMapOutputValueClass(IntWritable.class);
 
//设置最终输出的kv数据类型
 
wordCountJob.setOutputKeyClass(Text.class);
 
wordCountJob.setOutputValueClass(IntWritable.class);t
 
//设置要处理的文本数据所存放的路径
 
FileInputFormat setInputPaths(wordCountJob, "hdfs://IP:9000/mapreduce/mydata";
FileOutputFormat. setOutputPath(wordCountJob, new Path"hdfs://IP:9000/mapreduce/output/1);
//提交job给hadoop集群
wordCountJob.waitForCompletion(true);
}}

五.思考题

1.在Hadoop集群中，单独启动hdfs的脚本是哪一个？以Hadoop2.x或者Hadoop3.0为例，HDFS启动成功以后，会有哪些进程，它们分别是什么？

start-dfs.sh。查看进程：NameNode，secondary namenode（前2是主节点出现）、DataNode（从节点出现）。

2.在Hadoop集群中，单独启动yarn的脚本是哪一个？Yarn启动成功以后，会有哪些进程，分别是什么？

单独看yarn的进程：start-yarn.sh ，出现resourcemanager（主节点），nodemanager（从节点）。

3.如果你使用的是Hadoop3.x版本，HDFS的页面访问端口是多少？Yarn的页面访问端口又是多少？（hdfs端口：9870。yarn端口：8088）

4.根据你对Hive的使用和练习，Hive的数据存放在哪里？Hive底层默认的计算引擎（计算框架）是什么？hive数据信息放在MySQL上。hive底层的计算框架：MapReduce。

其他补充：

1》hdfs默认的副本数3份，指定的进程能起来，文件的作用：

(1) hadoop -env.sh作用: 用于Hadoop运行环境的配置

(2) hdfs -site.xml作用:配置DataNode的数据块冗余度

(3) core- site.xml作用: 配置NameNode的所在主机或者通讯地址及NameNode格式化后的目录的路径

(4) mapper-site.xml 作用: 配置mapreduce运行框架yarn容器

(5) yarn-site.xml.作用: 配置ResourceManager所在 主机及MapReduce的shuffle方式

(6) Works(Slaves)