大数据开发---阿里云ECS上搭建Hadoop伪分布式环境（上篇）_ecs免费使用版搭建hadoop

Hadoop环境搭建主要包括以下几个部分:JDK配置、SSH配置、Hadoop配置、IDEA+maven 工程配置

一、JDK的安装。Hadoop运行环境依赖JDK，因此在运行之前需要先安装JDK，下载JDK的Oracle官网地址如下：Java Downloads | Oraclehttps://www.oracle.com/java/technologies/downloads/

请注意：由于JDK版本与Hadoop版本兼容性会存在问题，因此，建议下载与Hadoop版本所要求相对应的JDK软件压缩包。本文以hadoop-3.3.1.tar.gz 与jdk-8u261-windows-x64.zip为例，来搭建Hadoop开发环境。不清楚的朋友可参照官网cwiki.apache.org列出的对应关系：Hadoop Java Versions - Hadoop - Apache Software Foundationhttps://cwiki.apache.org/confluence/display/HADOOP/Hadoop%20Java%20Versions

说明：Apache Hadoop 3.3（以及更高版本，即Version>3.3）可兼容Java 8 ， Java 11。

因此，下载并安装jdk-8u261作为hadoop-3.3.1的Java运行环境应该没有问题。jdk-8u261的下载这里就不讲了，jdk-8u261-linux-x64.tar下载完成后，可用FTP文件传输工具（如：WinSCP,FileZilla Client 电脑版的客户端软件）将jdk-8u261-linux-x64.tar上传到VMWare搭建的服务器或远程服务器，这里我就以远程服务器（阿里云ECS）为例，上传的过程比较简单，具体步骤如下图：

（图1-在本地目录选中jdk-8u261-linux-x64.tar文件后，右击点一下“上传”即可上传到远程服务器）

简要说明：由于我以前在远程服务器（阿里云ECS）上的“/home/jdk1.8.0”目录下安装过jre,故此处先删除掉“jre1.8.0_261”目录及该目录下所有的文件，在XShell命令行工具里执行“rm -rf jre1.8.0_261”即可；

（图-2：删除掉“jre1.8.0_261”目录及该目录下所有的文件，见678行）

接着需将刚才上传到"root/jdk1.8.0/"目录下的jdk-8u261-linux-x64.tar.gz解压至目录： /home/jdk1.8.0（如图3-左所示），执行如下命令：tar -zxvf /jdk1.8.0/jdk-8u261-linux-x64.tar.gz -C /home/jdk1.8.0，即可完成解压。

（图3-左）

 最后，验证一下解压是否成功，打开解压的目标文件夹，当看到“图3-右”里的 “/home/jdk1.8.0/jdk1.8.0_261”下面有：bin,include,jre...javafx-src.zip等完整的目录，证明第一大步----JDK的安装已成功迈出。

   （图3-右）

 二、配置JDK环境变量。

注意：这里的“配置JDK环境变量”是指在安装了JDK的服务器端进行的，而不是在本地，配置的名、值如下图：

（图4--进入编辑模式）

（图5--配置JDK环境变量）

补充：完了记得执行以下命令，查看Java是否成功安装

java -version
如果返回以下信息，则表示Java已安装成功。

三、安装Hadoop并配置环境变量。

    由于前面在第一部分“一、JDK的安装”里面已提到Hadoop软件的下载，且附上了Hadoop官网的下载地址，因此，此处不再赘述hadoop-3.3.1.tar.gz的下载过程。同样我们可以用FTP文件传输工具（如：WinSCP,FileZilla Client 电脑版的客户端软件）将下载好的hadoop-3.3.1.tar.gz压缩包文件上传到VMWare搭建的服务器或远程服务器，这里仍然以远程服务器（阿里云ECS）为例，Step1:将本地下载好的hadoop-3.3.1.tar.gz压缩包上传到 " /home/wangbin/Java技术资料/"这个目录下（当然这里比较灵活，也可以是其他目录），接着可以打开这个目录看一下是否成功 。如图6所示：                                 

                                               （图6--hadoop-3.3.1.tar.gz 所在的目录）

Step2:执行以下命令，解压Hadoop安装包至 /opt/（如图7所示）。并验证解压是否成功（如图8所示）

                     （图7--解压至指定目录：/opt/）

                （图8--解压后的目录）

Step3：执行以下命令，配置Hadoop环境变量。

  echo 'export HADOOP_HOME=/opt/hadoop-3.3.1/' >> /etc/profile
  echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
  echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
  source /etc/profile

Step4: 执行以下命令，修改配置文件yarn-env.sh和hadoop-env.sh。

echo "export JAVA_HOME=/home/jdk1.8.0/jdk1.8.0_261" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/home/jdk1.8.0/jdk1.8.0_261" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

Step5:执行以下命令，测试Hadoop是否安装成功。

hadoop version

如果返回以下信息，则表示安装成功。