devbox
羊村懒王
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

大数据导论实验（黑龙江大学）

作者：羊村懒王 | 2024-05-31 06:31:09

赞

踩

大数据导论实验（黑龙江大学）

 实验要求

【大数据导论实验】教学大纲

【适用专业】计算机科学与技术、软件工程、物联网工程

【教学目标】了解分布式结构和Linux命令，基本掌握Hadoop的安装、HDFS编程、MapReduce的编程。

【实验教学项目表】

1

项目

Hadoop 安装与使用

时数

4

性质

验证

内容

要求

在虚拟机上安装Linux，安装Hadoop，了解Linux和Hadoop的基本命令。

2

项目

HDFS的应用

时数

4

性质

设计

内容

要求

熟悉hadoop文件命令，熟悉在Linux编写、编译、运行JAVA程序的过程，实现文件的读写操作，读出数据并排序。

3

项目

Mapreduce的应用I—Top10WordCount

时数

4

性质

设计

内容

要求

熟悉在Linux使用JAVA编写、编译、运行MapReduce程序的过程。编写wordcount程序，找出词频排前10的词。

4

项目

Mapreduce的应用II—电影推荐

时数

4

性质

设计

内容

要求

使用3阶段MapReduce解决方案来实现电影推荐。阶段1：找出各个电影的评分人总数；阶段2：对于电影A和B，找出所有同时对A和B评分的人；阶段3：找出每两个相关电影之间的关联。

【实验报告要求】实验报告中应明确说明实验题目、实验目的、完成日期、主要设计思想和算法、实验结果以及总结。应杜绝出现内容完全相同的实验报告

【实验成绩评定】实验成绩由三个部分组成：实验出勤部分（占10%）、实验完成部分（占80%）和实验报告部分（占10%）。实验完成部分由学生所完成的4个实验结果决定；实验报告部分根据所提交的实验报告的内容、格式、正确性以及独立性几个方面综合评定。

【选用教材】《大数据技术原理与应用》（第二版）（林子雨编著，人民邮电出版社，2017年）

【参考书目】

《数据算法/Hadoop/Spark大数据处理技巧》（Mahmoud Parsian 著，苏金国 杨健康等译，中国电力出版社，2016年版）

实验1

一、实验内容

在虚拟机上安装Linux，安装Hadoop，了解Linux和Hadoop的基本命令。

二、实验目的

1、了解Hadoop的3种运行模式。

2、熟练掌握Hadoop伪分布模式安装流程。

3、培养独立完成Hadoop伪分布安装的能力。

4、了解Eclipse开发环境的使用

5、熟练掌握Hadoop开发插件安装

三、实验环境

Linux Ubuntu 16.02

jdk-8u162-linux-x64

hadoop-3.1.3

eclipse-4.7.0-linux.gtk.x86_64

四、实验步骤

1.创建hadoop用户

sudo useradd -m hadoop -s /bin/bash

sudo passwd hadoop

sudo adduser hadoop sudo

2.更新ubuntu软件包

sudo apt-get update

3.安装vim

sudo apt install vim

安装软件时若需要确认，在提示处输入 y 即可

vim的常用模式有分为命令模式，插入模式，可视模式，正常模式。本教程中，只需要用到正常模式和插入模式。二者间的切换即可以帮助你完成本指南的学习。

（1）正常模式

正常模式主要用来浏览文本内容。一开始打开vim都是正常模式。在任何模式下按下Esc键就可以返回正常模式

（2）插入编辑模式

插入编辑模式则用来向文本中添加内容的。在正常模式下，输入i键即可进入插入编辑模式

（3）退出vim

如果有利用vim修改任何的文本，一定要记得保存。Esc键退回到正常模式中，然后输入:wq即可保存文本并退出vim

4.安装SSH、配置SSH无密码登陆

sudo apt-get install openssh-server

ssh localhost

首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

exit                 # 退出刚才的 ssh localhost

cd ~/.ssh/           # 若没有该目录，请先执行一次ssh localhost     

ssh-keygen -t rsa    # 会有提示，都按回车就可以

cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

5.安装Java环境

cd /usr/lib

sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件

cd ~ #进入hadoop用户的主目录

cd Downloads  #注意区分大小写字母，刚才已经通过FTP软件把JDK安装包jdk-8u371-linux-x64.tar.gz上传到该目录下

sudo tar -zxvf ./jdk-8u371-linux-x64.tar.gz -C /usr/lib/jvm  #把JDK文件解压到/usr/lib/jvm目录下

JDK文件解压缩以后，可以执行如下命令到/usr/lib/jvm目录查看一下：

cd /usr/lib/jvm

ls

可以看到，在/usr/lib/jvm目录下有个jdk1.8.0_371目录。

下面继续执行如下命令，设置环境变量：

cd ~

vim ~/.bashrc

打开了hadoop这个用户的环境变量配置文件，请在这个文件的开头位置，添加如下几行内容：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_371

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

保存.bashrc文件并退出vim编辑器。然后，继续执行如下命令让.bashrc文件的配置立即生效：

source ~/.bashrc

查看是否安装成功

java -version

6.安装 Hadoop3.3.5

将 Hadoop 安装至 /usr/local/ 中：

sudo tar -zxvf ~/下载/hadoop-3.3.5.tar.gz -C /usr/local  

 # 解压到/usr/local中

cd /usr/local/

sudo mv ./hadoop-3.3.5/ ./hadoop   # 将文件夹名改为hadoop

sudo chown -R hadoop ./hadoop      # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

cd /usr/local/hadoop

./bin/hadoop version

7.Hadoop伪分布式配置

修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml)

<configuration>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>file:/usr/local/hadoop/tmp</value>

        <description>Abase for other temporary directories.</description>

    </property>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

修改配置文件 hdfs-site.xml：

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/data</value>

    </property>

</configuration>

配置完成后，执行 NameNode 的格式化:

cd /usr/local/hadoop

./bin/hdfs namenode -format

接着开启 NameNode 和 DataNode 守护进程：

cd /usr/local/hadoop

./sbin/start-dfs.sh

五、实验结果

cd /usr/local/hadoop

./sbin/start-dfs.sh

jps

访问web页面

localhost:9870

详细可参考厦门大学林子雨教授的教程

https://dblab.xmu.edu.cn/blog/2441/

实验2

一、实验内容

熟悉在Linux使用JAVA编写、编译、运行MapReduce程序的过程。编写wordcount程序，找出词频排前10的词。

二、实验目的

1、熟悉在Linux使用JAVA编写、编译、运行MapReduce程序的过程。

2、了解Eclipse开发环境的使用

3、熟练掌握Hadoop开发插件安装

三、实验环境

Linux Ubuntu 16.02

jdk-8u162-linux-x64

hadoop-3.1.3

eclipse-4.7.0-linux.gtk.x86_64

四、实验步骤

1.启动Hadoop

cd /usr/local/hadoop

./sbin/start-dfs.sh

2.查看文件

./bin/hdfs dfs -ls /user/hadoop

3.删除多余文件夹

./bin/hdfs dfs -rm -r /user/hadoop/input

./bin/hdfs dfs -rm -r /user/hadoop/output

5.创建文件夹

./bin/hdfs dfs -mkdir -p /user/hadoop/input

6.上传文件

./bin/hdfs dfs -put /home/hadoop/myfile/cipin.txt /user/hadoop/ input

7.启动eclipse

cd /usr/local/eclipse

./eclipse

为了编写一个MapReduce程序，一般需要向Java工程中添加以下JAR包：

（1）“/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-3.3.5.jar和haoop-nfs-3.3.5.jar；

（2）“/usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包；

（3）“/usr/local/hadoop/share/hadoop/mapreduce”目录下的所有JAR包，但是，不包括jdiff、lib-examples和sources目录。

然后将Java程序打成jar包。

8.运行jar包

./bin/hadoop jar /usr/local/hadoop/myapp/WordCount.jar input output

9.输出结果

./bin/hdfs dfs -cat output/*

五、实验结果

启动hadoop

查看文件夹内容

创建文件夹

上传文件

运行jar包

输出内容

六、源代码

  1. package sy2;
  2. import java.io.*;
  3. import java.nio.charset.StandardCharsets;
  4. import java.util.*;
  5.  
  6. import  org.apache.hadoop.conf.Configuration;
  7. import  org.apache.hadoop.fs.FileSystem;
  8. import  org.apache.hadoop.fs.Path;
  9. import  org.apache.hadoop.fs.FSDataInputStream;
  10. import  org.apache.hadoop.fs.FSDataOutputStream;
  11.  
  12. import static java.lang.Integer.*;
  13. import java.io.BufferedReader;
  14. import java.io.InputStreamReader;
  15.  
  16. import org.apache.hadoop.conf.Configuration;
  17. import org.apache.hadoop.fs.FileSystem;
  18. import org.apache.hadoop.fs.Path;
  19. import org.apache.hadoop.fs.FSDataInputStream;
  20.  
  21. public class sy2 {
  22. 	public static void main(String[] args){
  23.         try{
  24.             ArrayList<Integer> a = new ArrayList<Integer>();
  25.             ArrayList<Integer> b = new ArrayList<Integer>();
  26.  
  27.             Configuration conf = new Configuration();
  28.             conf.set("fs.defaultFS","hdfs://localhost:9000");
  29.             conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
  30.             FileSystem fs = FileSystem.get(conf);
  31.             Path file = new Path("test1.txt");
  32.             FSDataInputStream getit = fs.open(file);
  33.             BufferedReader d = new BufferedReader(new InputStreamReader(getit));
  34.  
  35.             Path file1 = new Path("test2.txt");
  36.             FSDataInputStream getit1 = fs.open(file1);
  37.             BufferedReader d1 = new BufferedReader(new InputStreamReader(getit1));
  38.             String str;
  39.             while((str = d.readLine())!= null)
  40.             {
  41.                 a.add(Integer.valueOf(str.trim()));
  42.             }
  43.             while((str = d1.readLine())!= null)
  44.             {
  45.                 a.add(Integer.valueOf(str.trim()));
  46.             }
  47.             d.close();
  48.             d1.close();
  49.             a.sort(Comparator.naturalOrder());
  50.             for (int i : a){
  51.                 System.out.println(i);
  52.             }
  53.  
  54.  
  55.             String filename = "test3.txt";
  56.             FSDataOutputStream os = fs.create(new Path(filename));
  57.             for(Integer i :a){
  58.                 os.write(i.toString().getBytes());
  59.                 os.write("\r\n".getBytes());
  60.             }
  61.             os.close();
  62.             fs.close();
  63.         }catch (Exception e){
  64.             e.printStackTrace();
  65.         }
  66.     }
  67.  
  68.  
  69. }

详细可参考厦门大学林子雨教授HDFS编程实践

https://dblab.xmu.edu.cn/blog/4230/

实验3

一、实验内容

熟悉在Linux使用JAVA编写、编译、运行MapReduce程序的过程。编写wordcount程序，找出词频排前10的词。

二、实验目的

1、熟悉在Linux使用JAVA编写、编译、运行MapReduce程序的过程。

2、了解Eclipse开发环境的使用

3、熟练掌握Hadoop开发插件安装

三、实验环境

Linux Ubuntu 16.02

jdk-8u162-linux-x64

hadoop-3.1.3

eclipse-4.7.0-linux.gtk.x86_64

四、实验步骤

1.启动Hadoop

cd /usr/local/hadoop

./sbin/start-dfs.sh

2.查看文件

./bin/hdfs dfs -ls /user/hadoop

3.删除多余文件夹

./bin/hdfs dfs -rm -r /user/hadoop/input

./bin/hdfs dfs -rm -r /user/hadoop/output

5.创建文件夹

./bin/hdfs dfs -mkdir -p /user/hadoop/input

6.上传文件

./bin/hdfs dfs -put /home/hadoop/myfile/cipin.txt /user/hadoop/ input

7.启动eclipse

cd /usr/local/eclipse

./eclipse

为了编写一个MapReduce程序，一般需要向Java工程中添加以下JAR包：

（1）“/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-3.3.5.jar和haoop-nfs-3.3.5.jar；

（2）“/usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包；

（3）“/usr/local/hadoop/share/hadoop/mapreduce”目录下的所有JAR包，但是，不包括jdiff、lib-examples和sources目录。

然后将Java程序打成jar包。

8.运行jar包

./bin/hadoop jar /usr/local/hadoop/myapp/WordCount.jar input output

9.输出结果

./bin/hdfs dfs -cat output/*

五、实验结果

启动hadoop

查看文件夹内容

创建文件夹

上传文件

运行jar包

输出内容实验结果

六、源代码

  1. package sy3;
  2.  
  3. import java.io.IOException;
  4. import java.util.Collections;
  5. import java.util.Comparator;
  6. import java.util.HashMap;
  7. import java.util.LinkedList;
  8. import java.util.List;
  9. import java.util.Map;
  10. import java.util.Map.Entry;
  11.  
  12. import org.apache.hadoop.conf.Configuration;
  13. import org.apache.hadoop.fs.Path;
  14. import org.apache.hadoop.io.IntWritable;
  15. import org.apache.hadoop.io.LongWritable;
  16. import org.apache.hadoop.io.Text;
  17. import org.apache.hadoop.mapreduce.Job;
  18. import org.apache.hadoop.mapreduce.Mapper;
  19. import org.apache.hadoop.mapreduce.Reducer;
  20. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  21. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  22. import org.apache.hadoop.util.GenericOptionsParser;
  23.  
  24.  
  25. public class sy3 {
  26.  
  27.     public static class WsMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
  28.         @Override
  29.         public void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException {
  30.             String[] split = value.toString().split(" ");
  31.             for (String word : split) {
  32.                 context.write(new Text(word), new IntWritable(1));
  33.             }
  34.         }
  35.     }
  36.  
  37.     public static class WsReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
  38.  
  39.         Map<String,Integer> map=new HashMap<String, Integer>();
  40.         public void reduce(Text key, Iterable<IntWritable> iter,Context conext) throws IOException, InterruptedException {
  41.             int  count=0;
  42.             for (IntWritable wordCount : iter) {
  43.                 count+=wordCount.get();
  44.             }
  45.             String name=key.toString();
  46.             map.put(name, count);
  47.         }
  48.  
  49.         @Override
  50.         public void cleanup(Context context)throws IOException, InterruptedException {
  51.  
  52.             //这里将map.entrySet()转换成list
  53.             List<Map.Entry<String,Integer>> list=new LinkedList<Map.Entry<String,Integer>>(map.entrySet());
  54.             //通过比较器来实现排序
  55.             Collections.sort(list,new Comparator<Map.Entry<String,Integer>>() {
  56.  
  57.                 //降序排序
  58.                 @Override
  59.                 public int compare(Entry<String, Integer> arg0,Entry<String, Integer> arg1) {
  60.                     return (int) (arg1.getValue() - arg0.getValue());
  61.                 }
  62.             });
  63.  
  64.             for(int i=0;i<10;i++){
  65.                 context.write(new Text(list.get(i).getKey()), new IntWritable(list.get(i).getValue()));
  66.             }
  67.         }
  68.     }
  69.     public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
  70.         Configuration conf = new Configuration();
  71.         String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
  72.         if (otherArgs.length != 2) {
  73.             System.err.println("输入参数个数为："+otherArgs.length+"，Usage: wordcount <in> <out>");
  74.             System.exit(2);//终止当前正在运行的java虚拟机
  75.         }
  76.         Job job = Job.getInstance(conf, "CleanUpJob");
  77.         job.setJarByClass(sy3.class);
  78.         job.setMapperClass(WsMapper.class);
  79.         job.setReducerClass(WsReducer.class);
  80.         job.setOutputKeyClass(Text.class);
  81.         job.setOutputValueClass(IntWritable.class);
  82.         for(int i = 0; i < otherArgs.length - 1; ++i) {
  83.             FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
  84.         }
  85.         FileOutputFormat.setOutputPath(job, new Path(otherArgs[otherArgs.length - 1]));
  86.         System.exit(job.waitForCompletion(true)?0:1);
  87.     }
  88. }

 详细可参考厦门大学林子雨教授MapReduce编程实践

https://dblab.xmu.edu.cn/blog/4289/

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/650832
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号