当前位置:   article > 正文

MapReduce处理公共自行车数据_mapreduce 共享单车数据集处理

mapreduce 共享单车数据集处理

利用Hadoop平台处理公共自行车数据,数据Excel表如下:
这里写图片描述

Excel表中有一列duration表示自行车使用时间,利用MapReduce统计自行车使用时间为60s,120,180s以此类推的使用量。

代码如下:

Map端:

package com.tyut.rcr;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
   
    private static final IntWritable one = new IntWritable(1);

    protected void map(LongWritable key, Text value,
            org.apache.hadoop.mapreduce.Mapper<LongWritable, Text, Text, IntWritable>.Context context)
            throws java.io.IOException, InterruptedException {
                    String line = value.toString();
                    String[] datas= line.split(",");
                    String during=datas[0];
                    int dur = Integer.parseInt(during);
                    if(dur<60){
                        String str = "自行车使用时间<60s次数:  "+dur;
                        context.write(new Text(str),one);
                    }
                    else {
                        for(int i=1;i<
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/357588
推荐阅读
相关标签
  

闽ICP备14008679号