Hadoop编程——统计多个班级学生信息_hadoop根据表6.3统计每个班的最高成绩、最低成绩、平均成绩和及格率。 表 6.3

源码地址：Github

Problem Statement

假设有N个班级在学习一门课程，第i个班级有M[i]个学生。课程成绩按照班级，分别存放在单独的文本文件中，如File1.txt是1班的成绩，File2.txt是2班的成绩，以此类推。现在需要你来完成：
（1）在本地文件系统中，首先使用随机数生成N个班级的成绩文件，包括学生的学号、姓名、成绩。注意：成绩要在[0,100]范围内。
（2）使用HDFS 的Java API将上述文件上传至HDFS。
（3）使用MapReduce程序，计算每个班级的平均分、最高分、最低分，以及所有学生的平均分、最高分和最低分。输出时，各个班级的平均分输出班级编号和平均分；所有学生的平均分只输出平均分。最高分、最低分需要输出班级编号、学生和成绩，如果有多个最高分和最低分，则需要输出所有的最高分和最低分。
（4）编写MapReduce程序，按照优秀（>=90）、良好（[80,89]）、中等（[70,79]）、及格（[60,69]）和不及格（<60）给出各个班级和所有学生的成绩分布情况（即每个分数段的人数）。

Thinking

主要是通过MapReduce对数据进行处理和统计，由于任务比较复杂，这里代码中使用两个MapReduce来解决问题。文章中代码是通过字符串的分割以及提取来设置value值，理论上可以封装成一个类，但是封装成类的过程中出现了好多问题，由于时间紧张故采用了较为简单的字符串的方式。

Solution

这里通过Python随机生成了二十个班级的数据，每个班级的格式为“学号 姓名 成绩”的格式，如下图所示：

我们先从第四问（较简单）着手，第三问会比较复杂但是原理是一样的：

Map1:

第一个Map主要是提取班级作为key，提取成绩作为value，输出格式为（19，46）,供接下来的Reduce处理

public static class SingleClassMapper extends Mapper<Object, Text, Text, Text> {
   

        @Override
        protected void map(Object key, Text value, Context context)
                throws IOException, InterruptedException {
            StringTokenizer tokenizer = new StringTokenizer(value.toString(), "\n");
            while (tokenizer.hasMoreTokens()) {
                String line = tokenizer.nextToken();
                StringTokenizer tk = new StringTokenizer(line.toString(), " ");
                //获取学号
                String idString = tk.nextToken().toString();
                //获取班级
                String student_class = idString.substring(8, 10);
                //获取名字
                String nameString = tk.nextToken().toString();
                //获取成绩
                String scoreString = tk.nextToken().toString();
                context.write(new Text(student_class), new Text(scoreString));
            }
        }
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

Reduce2:

统计每个班级学生的成绩作为value值，班级作为key值输出，格式如：
“19 Excellent : 2,Good:0,Medium:2,Passing:2,Failed:13”

//Reduce<keyin,valuein,keyout,valueout>
    //Reducer的value in类型要和Mapper的value out类型一致,Reducer的
1
2