Linux安装hadoop和HDFS

上传大数据包centos6.5-hadoop-2.6.4.tar.gz
hadoop包下载地址:https://download.csdn.net/download/weixin_39549656/10313902
安装在root目录下的apps目录下

# tar -zxvf centos6.5-hadoop-2.6.4.tar.gz -C apps/
1

更改配置文件
配置文件

进入$HADOOP_HOME/etc/hadoop
1.修改hadoop-env.sh

2.java路径命令 which java,因为是JAVA_HOME,路径把bin/java 去掉


更改HDFS配置文件只需要更改下面两个文件

vi core-site.xml 
1

在configuration标签中添加文件系统的类型,我们选择默认的文件系统HDFS
下面的生成临时文件存放目录

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.33.100:9000/</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/root/hdptmp/</value>
</property>


</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14

修改hdfs-site.xml 文件(也可以什么都不用配置)

vi hdfs-site.xml  
1

初始化NAMENODE

Namenode的机器上运行时会记录一些数据，数据的记录有一个特定的目录结构，那么应该在namenode启动之前先构造出这样一个目录：

$HADOOP_HOME/bin/hadoop namenode -format
1

将hadoop文件下的命令配置到环境变量中

vi etc/profile
1

环境变量文件结尾处添加

export HADOOP_HOME=/root/apps/hadoop-2.6.4/

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
1
2
3

重新加载配置文件命令

source /etc/profile
1

执行初始化命令

hadoop namenode -format
1

出现下面 红框内的意思是”生成文件保存位置文件夹”说明执行成功了

启动HDFS

启动namenode节点

hadoop-daemon.sh start namenode
1

查看是否成功

jps
1

查看监听端口号

netstat -nltp
1

9000.是之前设置它自己的进程,50070是对外提供服务的端口

这个50070端口是可以访问的 http://192.168.33.100:50070

namenode启动成功!!

启动datanode

添加域名解析

vi /etc/hosts
1

修改配置文件,让hadoop命令到处都可以运行,bin目录和sbin目录下命令

vi /etc/profile
1

添加

export HADOOP_HOME=/root/apps/hadoop-2.6.4/

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
1
2
3
4

更新

source /etc/profile
1

启动datanode

hadoop-daemon.sh start datanode
1

访问路径

http://192.168.33.101:50075/
1