使用MapReduce对英文单词文件进行单词出现次数统计_写出使用 mapreduce进行单词统计的过程

使用MapReduce对英文单词文件进行单词出现次数统计

一、事前准备工作

1、创建相关的hadoop账户。

（1）打开终端窗口，输入下面命令创建相关新的用户，使用 /bin/bash 作为 shell。

sudo useradd -m hadoop -s /bin/bash
1

（2）设置相关密码，按照相关提示输入两次密码。

sudo passwd mima
1

（3）hadoop 用户增加管理员权限，方便后续命令操作。

sudo adduser hadoop sudo
1

（4）选择退出登录，选择刚建立的用户登陆。

2、更新apt。

打开终端窗口，输入下面命令进行apt的更新，以及安装vim。

sudo apt-get update
sudo apt-get install vim
1
2

3、安装并配置SSH

（1）Ubuntu系统已经默认安装SSH client，但是还需要安装 SSH server，相关命令如下。

sudo apt-get install openssh-server
1

（2）安装完成后，用下面命令登陆。

ssh localhost
1

（3）紧接着输入exit退出刚才的ssh，就回到了终端窗口，然后生成密钥，并将密钥加入到相关授权中。再用ssh localhost命令，不用输入密码就可以直接登陆。

exit 
cd ~/.ssh/ 
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys
1
2
3
4

二、安装相关Java环境

1、安装相关jdk。

下载相关jdk到本地电脑。在Linux命令行界面中，执行如下命令。

cd /usr/lib
sudo mkdir jvm
cd ~ 
cd Downloads
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm
1
2
3
4
5

2、查看jdk安装情况。

使用下面命令查看。

cd /usr/lib/jvm
1

3、设置相关环境变量。

（1）使用以下命令进行设置，打开vim编辑器。

cd ~
vim ~/.bashrc
1
2

（2）配置.bashrc文件，在文件的开始加入以下命令。

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
1
2
3
4

（3）输入wq保存.bashrc退出vim编辑器。执行如下命令让配置生效，并且输入命令验证安装情况。

source ~/.bashrc
java –version
1
2

三、安装Hadoop。

1、使用ftp上传下载，选择要上传的位置，进行相关上传，点击远程控制Ubuntu你自己需要上传的位置。

2、安装。

输入以下命令把Hadoop安装到/usr/local/，Hadoop 解压后即可使用。

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local
cd /usr/local/
1
2