赞
踩
题目中没有给出数据,我的数据是自己使用随机数代码生成的:
数据生成代码如下:
- Random r = new Random();
- FileWriter fw = new FileWriter("生成文件的路径以及名称");
- int x = r.nextInt(1100000)-100000;
- for(int y = 1;y <= x;y++) {
- int sex1 = r.nextInt(10);
- int cost = r.nextInt(10000);
- String sex;
- if (sex1%2 == 1) //性别使用随机生成的数是奇数或是偶数来判断
- sex = "M";
- else
- sex = "F";
-
- fw.write(y + " " + sex + " " + cost + "\r\n" );
- fw.flush();
-
- }
- fw.close();
数据已经有了,接下来就可以统计这座城市一共有多少人,消费总额,人均消费了。
代码如下:
- SparkConf sparkconf = new SparkConf().
- setAppName(" ").setMaster("local");
- JavaSparkContext sc = new JavaSparkContext(sparkconf);
- JavaRDD<String> lines = sc.textFile("数据路径");
- JavaRDD<Integer> rdd1 = lines.map(f->{
- return (Integer.valueOf(f.split(" ")[2]));
- }); //只取出消费额这一列,并将其转化成整数类型
- long counts = rdd1.count(); //统计城市有多少人
- long avg = 0;
- int sum = 0;
-
- sum = rdd1.reduce((a, b) -> a + b); //求消费额总额
- avg = sum/counts; // 人均消费=总消费额/人数
- //输出
- System.out.println("这座城市一共有:" + counts + "人");
- System.out.println("这座城市的消费总额为:" + sum + "元");
- System.out.println("这座城市的人均消费额为:" + avg + "元");
结果如下:
接下来分别对男性和女性求人数,及最高消费额。我们可以根据性别得到两个RDD,然后可以排序,求首尾的数据即可,也可以直接比大小得到。
我是通过比较大小得出的最高最低消费,没有使用排序的方式。
代码如下:
- SparkConf sparkconf = new SparkConf().
- setAppName(" ").setMaster("local");
- JavaSparkContext sc = new JavaSparkContext(sparkconf);
- JavaRDD<String> lines = sc.textFile("数据路径");
- JavaPairRDD<String, Integer> rdd1 =
- lines.mapToPair(f->new Tuple2<>(f.split(" ")[1],Integer.valueOf(f.split(" ")[2])));
- JavaPairRDD<String, Integer>rddM1 = rdd1.filter(f->{
- return (f._1().contains("M"));
- }); //只保留含有M的数据
- JavaPairRDD<String, Integer>rddF1 = rdd1.filter(f->{
- return (f._1().contains("F"));
- }); //只保留含有F的数据
-
- JavaPairRDD<String, Integer> MAXM = rddM1.reduceByKey((x,y)->MAX(x,y)); //消费额比较大小保留大的,下面同理
- JavaPairRDD<String, Integer> MAXF = rddF1.reduceByKey((x,y)->MAX(x,y));
- JavaPairRDD<String, Integer> MINM = rddM1.reduceByKey((x,y)->MIN(x,y));
- JavaPairRDD<String, Integer> MINF = rddF1.reduceByKey((x,y)->MIN(x,y));
- MINF.foreach(x -> System.out.println("女性最低消费"+x._2));
- MINM.foreach(x -> System.out.println("男性最低消费"+x._2));
- MAXF.foreach(x -> System.out.println("女性最高消费"+x._2));
- MAXM.foreach(x -> System.out.println("男性最高消费"+x._2));
- long countsM = rddM1.count(); //统计人数
- long countsF = rddF1.count();
- System.out.println("男性人数为:"+countsM + "\n" + "女性人数为:" + countsF);
比较大小函数:
- public static int MAX(int x,int y) {
- if (x<y) {
- return y;
- }else {
- return x;
- }
- }
- public static int MIN(int x,int y) {
- if (x<y) {
- return x;
- }else {
- return y;
- }
- }
最终结果:
不足之处,欢迎指正。hhh
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。