Linux搭建HDFS集群_在linux搭建hdfs
赞
踩
不是安装一个软件，而是安装一群软件！
先用Windows到Hadoop官网上下载我们自己所要使用的相应版本的.tar包，并复制我们用vmware所搭建好的Linux虚拟机里边， tar -xzvf 包名 -C 想要放到的目录。
重点：配置文件修改 vim hadoop-2.8.3/etc/hadoop/hdfs-site.xml
NAMENODE：
指定NAMENODE在什么机器、什么端口工作：
dfs.namenode.rpc-address=master:9000
NAMENODE的元数据持久化存储目录：
dfs.namenode.name.dir=/root/hdpdata/name/
SECONDARY NAMENODE:
dfs.namenode.secondary.http-address=slave1:50090
DATANODE：
指定DATANODE的文件块存储目录：
dfs.datanode.data.dir=/root/hdpdata/data/（没有的文件目录可以自己命名新建相应的修改此处文件目录即可）
安装步骤
前提：
准备4台linux机器
装好jdk
配好IP地址、主机名、域名映射、关闭防火墙
补充一个命令：禁止一个服务（防火墙）开机自启： chkconfig iptables off
配好master -->其他所有机器的免密登陆机制
a) 上传安装包到master
b) 解压
c) 修改配置文件
hadoop-env.sh
exportJAVA_HOME=/root/app/jdk1.8.0_60
d) 复制安装包到别的机器
scp -r hadoop-2.8.1/ slave1:/root/app/
scp -r hadoop-2.8.1/ slave2:/root/app/
scp -r hadoop-2.8.1/ slave3:/root/app/
e) 把namenode的元数据目录初始化(在master) 第一次启动hdfs时候要执行此步骤
bin/hadoop namenode -format
f) 手动启动
这次可不是启动一个程序，而是启动一堆程序；
要在master上启动namenode软件
sbin/hadoop-daemon.sh start namenode
要在slave1/2/3上启动datanode软件
sbin/hadoop-daemon.sh start datanode
启动完后，可以用浏览器请求namenode的50070端口
可以看到集群的信息、以及文件系统的目
批启动：启动hdfs： sbin/start-dfs.sh
停止hdfs： sbin/stop-dfs.sh
