Hadoop完全分布式环境搭建（二）—— Hadoop安装及配置_hadoop fs -mkdir 建的目录在哪

作者：Cpp五条 | 2024-06-04 21:58:26

踩

hadoop fs -mkdir 建的目录在哪

Hadoop集群搭建

布局设计

1.下载Hadoop

1）同样方式解压到app文件夹下 tar -zxvf hadoop-2.7.5.tar.gz -C app/

2）创建文件目录为了便于管理，给Master的hdfs的NameNode、DataNode及临时文件，在用户目录下创建目录：

/root/app/hadoopdata/hdfs/name

/root/app/hadoopdata/hdfs/data
/root/app/hadoopdata/hdfs/tmp
然后将这些目录通过scp命令拷贝到Slave1和Slave2的相同目录下。

2.安装

命令：vi /etc/profile 在最后添加：
export HADOOP_HOME=/root/app/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin：$HADOOP_HOME/sbin
退出编辑，执行命令：source /etc/profile
测试：which hadoop 和hadoop version出现以下信息说明Hadoop安装成功。

3.配置Hadoop相关文件

进入hadoop-2.7.1的配置目录：

cd $HADOOP_HOME

cd etc/hadoop

依次修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及slaves文件。

1）配置hadoop-env.sh

命令：cd $HADOOP_HOME

vim hadoop-env.sh 添加：export JAVA_HOME=/root/app/jdk1.7.0_76

2）配置core-site.xml文件

修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS master（即namenode）的地址和端口号。

命令：vim core-site.xml

<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value> //namenode是哪一台主机，就配置哪一台的主机名，我的是master
</property>

<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/root/app/hadoop-2.7.5/data/hdfs/tmp</value> //临时目录，就是之前创建的目录
</property>

</configuration>

3）配置hdfs-site.xml文件

命令：vim hdfs-site.xml 添加：

<configuration>

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<property>
<name>dfs.namenode.name.dir</name>
<value>/root/app/hadoop-2.7.5/data/hdfs/name</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>/root/app/hadoop-2.7.5/data/hdfs/data</value>
</property>

<property>
<name>dfs.http.address</name>
<value>master:50070</value>
</property>

<property>
<name>dfs.secondary.http.address</name>
<value>master:50090</value>
</property>

<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

4) 配置mapred-site.xml

由于本身没有./etc/hadoop/mapred-site.xml文件，先执行：mv -f ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

再执行：vi ./etc/hadoop/mapred-site.xml，添加以下信息

<configuration>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>

5) 配置yarn-site.xml

命令：vi ./etc/hadoop/yarn-site.xml

添加

<configuration>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>

<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>