Linux环境下HDFS安装_linux 安装hdfs

Linux环境下HDFS安装

1.安装环境

1. VMWare15.x
2. centos7.x
3. hadoop 3.2.1

2.第一台虚拟机基础配置

2.1 先安装好一台linux虚拟机，并且设置好宿主windows的ip地址，VMWare中虚拟交换机的地址（宿主windows和虚拟交换机的ip地址必须同一网段，并且宿主windows的网关ip需要设置为虚拟交换机的ip地址）。
2.2设置好这台虚拟linux的配置，包括主机名（/etc/hosname）、ip地址/网关/子网掩码/DNS1等信息（/etc/sysconfig/network-scripts/ifcfg-ens33）、host可以后续集群克隆完毕后再设置
2.3安装基本环境，JDK1.8、mysql

3.第一台虚拟机安装Hadoop

3.1 下载压缩包，版本是3.2.1，注意是linux下版本
3.2 在opt下创建安装软件目录，apps（也可在usr下创建安装目录）
3.3使用命令把hadoop的Linux压缩包解压到当前目录 tar -zxf xxxxx。这里的参数不加v，不显示解压进度，解压速度更快。
3.4设置hadoop的环境变量，/etc/profile ，添加一个HADOOP_HOME变量

4.修改第一台Hadoop配置信息（在Hadoop安装目录下）

配置信息所在目录，我的：
/opt/apps/hadoop-3.2.1/etc/hadoop，内容如下

-rw-r–r--. 1 lss lss 8260 Sep 11 2019 capacity-scheduler.xml
-rw-r–r--. 1 lss lss 1335 Sep 11 2019 configuration.xsl
-rw-r–r--. 1 lss lss 1940 Sep 11 2019 container-executor.cfg
-rw-r–r--. 1 lss lss 869 Aug 16 04:50 core-site.xml
-rw-r–r--. 1 lss lss 3999 Sep 10 2019 hadoop-env.cmd
-rw-r–r--. 1 lss lss 16258 Aug 16 04:45 hadoop-env.sh
-rw-r–r--. 1 lss lss 3321 Sep 10 2019 hadoop-metrics2.properties
-rw-r–r--. 1 lss lss 11392 Sep 10 2019 hadoop-policy.xml
-rw-r–r--. 1 lss lss 3414 Sep 10 2019 hadoop-user-functions.sh.example
-rw-r–r--. 1 lss lss 1368 Aug 16 04:48 hdfs-site.xml
-rw-r–r--. 1 lss lss 1484 Sep 11 2019 httpfs-env.sh
-rw-r–r--. 1 lss lss 1657 Sep 11 2019 httpfs-log4j.properties
-rw-r–r--. 1 lss lss 21 Sep 11 2019 httpfs-signature.secret
-rw-r–r--. 1 lss lss 620 Sep 11 2019 httpfs-site.xml
-rw-r–r--. 1 lss lss 3518 Sep 10 2019 kms-acls.xml
-rw-r–r--. 1 lss lss 1351 Sep 10 2019 kms-env.sh
-rw-r–r--. 1 lss lss 1860 Sep 10 2019 kms-log4j.properties
-rw-r–r--. 1 lss lss 682 Sep 10 2019 kms-site.xml
-rw-r–r--. 1 lss lss 13326 Sep 10 2019 log4j.properties
-rw-r–r--. 1 lss lss 951 Sep 11 2019 mapred-env.cmd
-rw-r–r--. 1 lss lss 1764 Sep 11 2019 mapred-env.sh
-rw-r–r--. 1 lss lss 4113 Sep 11 2019 mapred-queues.xml.template
-rw-r–r--. 1 lss lss 758 Sep 11 2019 mapred-site.xml
drwxr-xr-x. 2 lss lss 24 Sep 10 2019 shellprofile.d
-rw-r–r--. 1 lss lss 2316 Sep 10 2019 ssl-client.xml.example
-rw-r–r--. 1 lss lss 2697 Sep 10 2019 ssl-server.xml.example
-rw-r–r--. 1 lss lss 2642 Sep 11 2019 user_ec_policies.xml.template
-rw-r–r--. 1 lss lss 45 Aug 16 04:49 workers
-rw-r–r--. 1 lss lss 2250 Sep 11 2019 yarn-env.cmd
-rw-r–r--. 1 lss lss 6056 Sep 11 2019 yarn-env.sh
-rw-r–r--. 1 lss lss 2591 Sep 11 2019 yarnservice-log4j.properties
-rw-r–r--. 1 lss lss 690 Sep 11 2019 yarn-site.xml

1. JAVA_HOME的位置, hadoop-env.sh
   在文件的第54行 54+shift+G（vi命令）

#The java implementation to use. 
export JAVA_HOME=/usr/apps/jdk1.8.0_141
1
2

2. namenode机器的位置 ,hdfs-site.xml