虚拟机安装Hadoop

这里我们将完成虚拟机Hadoop的安装，我们需要选修改一个主机名方便以后查看，还需要下载好Hadoop文件，链接：Index of /dist/hadoop/common (apache.org)

选择你需要的Hadoop版本下载，我这里下载的是Hadoop-3.1.4/

修改一下主机名 命令：vi /etc/sysconfig/network

 或者：vi /etc/hostname

 

重启虚拟机：reboot

 重启虚拟机，主机名修改成功！

开始安装Hadoop！

（1）上传Hadoop 文件并解压，和上一个jdk的安装一样在xftp里面双击Hadoop文件。

上传成功！

 解压 命令：tar -zxf hadoop-3.1.4.tar.gz  -C  /opt

 可删除安装包以节省磁盘空间。

（2）修改配置文件 /opt/hadoop-3.1.4/etc/hadoop

先找到文件路径

######hadoop-env.sh

添加JAVA_HOME环境变量：

export JAVA_HOME=/usr/java/jdk1.8.0_341-amd64

(可以通过 echo $JAVA_HOME  获取路径)

！！！在配置一下文件时注意修改自己的主机名字！！！！！

命令：vi hadoop-env.sh
vi core-site.xml
 vi hdfs-site.xml
 vi mapred-site.xml
 vi yarn-site.xml

######core-site.xml

<configuration>

   <property>

               <name>fs.defaultFS</name>

               <value>hdfs://demo:8020</value>

  </property>

  <!-- 临时文件存储目录 -->

       <property>

               <name>hadoop.tmp.dir</name>

               <value>/data/hadoop/tmp</value>

       </property>

</configuration>

 ######hdfs-site.xml

<configuration>

         <property>

                   <name>dfs.namenode.name.dir</name>

                   <value>/data/hadoop/namenode</value>

         </property>

         <property>

                   <name>dfs.datanode.data.dir</name>

                   <value>/data/hadoop/datanode</value>

         </property>

         <property>

                   <name>dfs.blocksize</name>

                   <value>134217728</value>

         </property>

         <property>

                   <name>dfs.replication</name>

                   <value>3</value>

         </property>

         <!-- 是否启用hdfs权限检查 false 关闭-->

         <property>

                   <name>dfs.permissions.enabled</name>

                   <value>false</value>

         </property>

         <property>

                   <name>dfs.namenode.http-address</name>

                   <value>demo:50070</value>

         </property>

</configuration>

 ######mapred-site.xml

<configuration>

         <property>

                   <name>mapreduce.framework.name</name>

                   <value>yarn</value>

         </property>

         <property>

          <name>yarn.app.mapreduce.am.env</name>

          <value>HADOOP_MAPRED_HOME=/opt/hadoop-3.1.4</value>

         </property>

<property>

<name>mapreduce.application.classpath</name>

<value>/opt/Hadoop-3.1.4/share/Hadoop/mapreduce/*:/opt/Hadoop-3.1.4/share/Hadoop/mapreduce/lib/*</value>

         </property>

</configuration>

######yarn-site.xml

<configuration>

         <property>

                   <name>yarn.resourcemanager.hostname</name>

                   <value>demo</value>

         </property>

         <!-- 设置不检查虚拟内存的值，不然内存不够会报错 -->

         <property>

                   <name>yarn.nodemanager.vmem-check-enabled</name>

                   <value>false</value>

         </property>

         <property>

                   <name>yarn.nodemanager.aux-services</name>

                   <value>mapreduce_shuffle</value>

         </property>

         <!--yarn上面运行一个任务，最少需要1.5G内存，虚拟机没有这么大的内存就调小这个值，不然会报错 -->

         <property>

       <name>yarn.app.mapreduce.am.resource.mb</name>

       <value>1024</value>

         </property>

</configuration>

 以上就是Hadoop的安装，下一篇文章：Hadoop集群的配置(4条消息) Hadoop集群的配置_仄言2997的博客-CSDN博客_集群配置hadoop