Linux环境下搭建hadoop环境

一，安装jdk和hadoop

1，通过Xftp 6将软件包传到虚拟机上

2，解压软件包

tar -zxvf 需要解压的包名 -C /usr/local

3，配置环境

vim /etc/profile

jdk：

export JAVA_HOME=路径
export PATH=$PATH:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
1
2
3

hadoop：

export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin
1
2

4，重新加载配置

source /etc/profile

5，查看安装情况

输入java、hadoop查看

-bash: java: 未找到命令

不出现上面的信息基本就是安装成功了

二，修改主机名和IP的映射关系

• 在下面加入

vim /etc/hosts

192.168.xx.xx hadoop

虚拟机的域名 后面自己随便起

三，配置hadoop

1，进入hadoop文件夹

cd /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop

2，修改配置文件

• 第一个配置文件名：hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=${JAVA_HOME}
将${JAVA_HOME}改为jdk的路径
1
2

把JAVA_HOME写成绝对路径，这么做是为了防止程序获取不到jdk的路径造成不必要的麻烦

• 第二个配置文件名：core-site.xml

vim core-site.xml

在中加入下面的信息

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/local/hadoop-2.6.0-cdh5.7.0/tmp</value>
</property>
1
2
3
4
5
6
7
8
9
10

• 第三个配置文件：hdfs-site.xml

vim hdfs-site.xml

在<configuration></configuration>中加入下面的信息

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
1
2
3
4
5

• 第四个配置文件：mapred-site.xml
  vim mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
1
2
3
4
5
6

• 第五个配置文件：yarn-site.xml

vim yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>weekend-1206-01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
1
2
3
4
5
6
7
8
9
10

四，格式化namenode

hadoop namenode -format

出现successfully 说明格式化成功

五，启动hadoop

• 先启动HDFS
  start-dfs.sh
• 再启动YARN
  start-yarn.sh

输入jps指令显示java程序的进程

启动成功

六，通过浏览器访问

在地址栏输入（HDFS管理界面）
192.168.xx.xx:50070
ip是自己虚拟机的ip

• 注：访问不到请检查防火墙是否关闭

访问成功：

在地址栏输入（HDFS管理界面）
192.168.xx.xx:8088 （MR管理界面）
ip是自己虚拟机的ip
访问成功：