devbox
黑客灵魂
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Hadoop mapreduce课程设计-全球历史平均气温数据分析_hadoop课程设计

作者：黑客灵魂 | 2024-06-29 03:37:35

赞

踩

hadoop课程设计

前言

例如：随着大数据的不断发展，hadoop这门技术也越来越重要，很多人都开启了学习大数据之路。此次课程设计，我们采用mongodb作为存储，javaweb作为前端，echarts作为可视化工具，kettle和pandas作为数据清洗工具。使用底层mapeduce作为大数据计算。

一、工具介绍

mongodb数据库：它的特点是高性能、易部署、易使用，存储数据非常方便。主要功能特性有：*面向集合存储，易存储对象类型的数据。*模式自由。*支持动态查询。*支持完全索引，包含内部对象。*支持查询。

javaweb:个人喜好用java,其实最好可以使用node.js。

echarts:可视化工具，包含多个组件，可以说是既简单又方便的工具。

kettle:Pentaho Data Integration以Java开发，支持跨平台运行，其特性包括：支持100%无编码、拖拽方式开发ETL数据管道；可对接包括传统数据库、文件、大数据平台、接口、流数据等数据源；支持ETL数据管道加入机器学习算法。

pandas:python第三方库，对于简单数据是很好用的工具。

二、mapreduce数据处理

1.数据集准备

 2.要求：对不同洲的平均温度处理--得到各大洲的平均温度

2.1 mapper阶段

  1. import org.apache.hadoop.mapreduce.Mapper;
  2.  
  3. import java.io.IOException;
  4.  
  5. /*
  6. 要求：对不同洲的平均温度处理--得到各大洲的平均温度
  7.  */
  8. public class TemperMapper extends Mapper<LongWritable, Text,Text,DoubleWritable> {
  9.     Text k = new Text();
  10.     DoubleWritable v = new DoubleWritable();
  11.  
  12.     @Override
  13.     protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, DoubleWritable>.Context context) throws IOException, InterruptedException {
  14.         String s = value.toString();
  15.         String[] split = s.split(",");
  16.         String sec=split[0]+"\t"+split[6];
  17.         if(!split[7].contains("-99")) {
  18.             k.set(sec);
  19.             v.set(Double.parseDouble(split[split.length - 1]));
  20.             context.write(k, v);
  21.         }
  22.     }
  23. }

2.2 reduce阶段

  1. package test.temperature.TemperatureInfo.Temperature01;
  2.  
  3. import org.apache.hadoop.io.LongWritable;
  4. import org.apache.hadoop.io.*;
  5. import org.apache.hadoop.mapreduce.Reducer;
  6.  
  7. import java.io.IOException;
  8.  
  9. public class TemperReduce extends Reducer<Text, DoubleWritable, Text,DoubleWritable> {
  10.  
  11.     @Override
  12.     protected void reduce(Text key, Iterable<DoubleWritable> values, Reducer<Text, DoubleWritable, Text, DoubleWritable>.Context context) throws IOException, InterruptedException {
  13.         int num=0;
  14.         double sum=0;
  15.         for (DoubleWritable val:values){
  16.             sum+=val.get();
  17.             num++;
  18.         }
  19.         Double avg= Double.valueOf(sum/num);
  20.         context.write(key,new DoubleWritable(avg));
  21.     }
  22. }

2.3 分区

  1. package test.temperature.TemperatureInfo.Temperature01;
  2.  
  3. import org.apache.hadoop.io.*;
  4. import org.apache.hadoop.mapreduce.Partitioner;
  5.  
  6. public class TemperPartitioner extends Partitioner<Text, DoubleWritable> {
  7.  
  8.     @Override
  9.     public int getPartition(Text text, DoubleWritable doubleWritable, int p) {
  10.         String year_coun = text.toString();
  11.  
  12.         int partition;
  13.         if ((year_coun).contains("Africa")){
  14.             partition=0;
  15.         }
  16.         else if ((year_coun).contains("Asia")) {
  17.             partition = 1;
  18.         }else if ((year_coun).contains("Australia/South Pacific")) {
  19.             partition = 2;
  20.         }else if ((year_coun).contains("Europe")) {
  21.             partition = 3;
  22.         }else if((year_coun).contains("Middle East")){
  23.             partition=4;
  24.         }else {
  25.             partition=5;
  26.         }
  27.  
  28.         return partition;
  29.     }
  30. }

2.4 Driver阶段

  1. package test.temperature.TemperatureInfo.Temperature01;
  2. import org.apache.hadoop.conf.Configuration;
  3. import org.apache.hadoop.fs.Path;
  4. import org.apache.hadoop.io.*;
  5. import org.apache.hadoop.mapreduce.Job;
  6. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  7. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  8.  
  9. import java.io.IOException;
  10.  
  11. public class TemperDriver {
  12.  
  13.     public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
  14.  
  15.         // 1 获取配置信息以及获取job对象
  16.         Configuration conf = new Configuration();
  17.         Job job = Job.getInstance(conf);
  18.  
  19.         // 2 关联本Driver程序的jar
  20.         job.setJarByClass(TemperDriver.class);
  21.  
  22.         // 3 关联Mapper和Reducer的jar
  23.         job.setMapperClass(TemperMapper.class);
  24.         job.setReducerClass(TemperReduce.class);
  25.  
  26.         // 4 设置Mapper输出的kv类型
  27.         job.setMapOutputKeyClass(Text.class);
  28.         job.setMapOutputValueClass(DoubleWritable.class);
  29.  
  30.         // 5 设置最终输出kv类型
  31.         job.setOutputKeyClass(Text.class);
  32.         job.setOutputValueClass(DoubleWritable.class);
  33.  
  34.         //设置分区--分区与输出是不一样的，输出！=分区
  35.         job.setPartitionerClass(TemperPartitioner.class);
  36.         job.setNumReduceTasks(6);
  37.  
  38.         // 6 设置输入和输出路径
  39.         FileInputFormat.setInputPaths(job, new Path("D:\\desk\\city_temperature.csv"));
  40.         FileOutputFormat.setOutputPath(job, new Path("D:\\desk\\Temperature\\25年各大洲的平均温度"));
  41.  
  42.  
  43.  
  44.         // 7 提交job
  45.         boolean result = job.waitForCompletion(true);
  46.         System.exit(result ? 0 : 1);
  47.     }
  48. }

3.结果展示

 

 4.将数据放入mongodb数据库

4.1 ktr展示

4.2 mongodb数据展示

 

 

5.使用pandas和pyecharts将数据可视化

5.1 代码展示

  1. import pandas as pd
  2. from numpy import double
  3. from pyecharts import options as opts
  4. from pyecharts.charts import *
  5. from pyecharts.globals import *
  6.  
  7. def zone_Temperature():
  8.     df = pd.read_csv(r"D:\desk\Temperature\25年各大洲的平均温度\part-r-00000.csv", encoding='utf-8',header=None)
  9.     df2 = pd.read_csv(r"D:\desk\Temperature\25年各大洲的平均温度\part-r-00001.csv", encoding='utf-8',header=None)
  10.     df3 = pd.read_csv(r"D:\desk\Temperature\25年各大洲的平均温度\part-r-00002.csv", encoding='utf-8',header=None)
  11.     df4 = pd.read_csv(r"D:\desk\Temperature\25年各大洲的平均温度\part-r-00003.csv", encoding='utf-8',header=None)
  12.     df5 = pd.read_csv(r"D:\desk\Temperature\25年各大洲的平均温度\part-r-00004.csv", encoding='utf-8',header=None)
  13.  
  14.     dfc=df[0].str.split("\t")
  15.     dfc2=df2[0].str.split("\t")
  16.     dfc3=df3[0].str.split("\t")
  17.     dfc4=df4[0].str.split("\t")
  18.     dfc5=df5[0].str.split("\t")
  19.  
  20.     label=dfc[0][0]
  21.     label2=dfc2[0][0]
  22.     label3=dfc3[0][0]
  23.     label4=dfc4[0][0]
  24.     label5=dfc5[0][0]
  25.     year=[]
  26.     temper,temper2,temper3,temper4,temper5=[],[],[],[],[]
  27.     for i in range(0,25):
  28.         year.append(dfc[i][1])
  29.         temper.append(dfc[i][2])
  30.         temper2.append (dfc2[i][2])
  31.         temper3.append (dfc3[i][2])
  32.         temper4.append (dfc4[i][2])
  33.         temper5.append (dfc5[i][2])
  34.  
  35.     line=(
  36.         Line()
  37.         .add_xaxis(xaxis_data=year)
  38.         .add_yaxis(series_name=label,
  39.                    y_axis=temper)
  40.         .add_yaxis (series_name=label2,
  41.                     y_axis=temper2)
  42.         .add_yaxis (series_name=label3,
  43.                     y_axis=temper3)
  44.         .add_yaxis (series_name=label4,
  45.                     y_axis=temper4)
  46.         .add_yaxis (series_name=label5,
  47.                     y_axis=temper5)
  48.         .set_global_opts(title_opts=opts.TitleOpts(title="主要大洲25年平均温度")
  49.                          ,yaxis_opts=opts.AxisOpts(min_=60))
  50.         .set_series_opts(
  51.                     markline_opts=opts.MarkLineOpts (
  52.                         data=[
  53.                             opts.MarkPointItem(type_="average", name="平均值")
  54.                               ]
  55.                     ),
  56.                 )
  57.     )
  58.     return Line

5.2 调用python函数生成html ，html展示

 6.定义前端jsp页面，将html嵌入sp

7.在前端中展示mongodb数据库内容

 

 

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/黑客灵魂/article/detail/768148
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号