ubuntu如何安装hadoop_ubuntu安装hadoop

对于安装Java、ssh和配置环境变量可以完全看这篇

Hadoop在Ubuntu的安装和使用

但这里有几个注意，这篇文章用的scp进行传输jdk安装包，如果小伙伴们不会使用，可以命令行直接运行

sudo apt-get install openjdk-8-jdk

注意，这个jdk默认安装路径是

/usr/lib/jvm/java-1.8.0-openjdk-amd64

你可以自行将安装路径修改（看个人喜好），但一定记住修改之后的路径，这关乎Java环境配置

Hadoop安装

linux直接apt-get安装 太慢，使用清华镜像

清华hadoop镜像

运行对其解压

tar xzf hadoop-3.3.6.tar.gz

这个是解压到Downloads，需要将其移动到/usr/local下，将其文件名改为hadoop，即运行

mv ~/Downloads/hadoop-3.3.6 /usr/local/hadoop

修改该文件的使用权限

chown -R user:group /usr/local/hadoop

user是用户，group是所在组，一般这两个都敲自己登录虚拟机的用户名

因为这与hadoop配置文件core-site.xml和hdfs-site.xml相关，这些文件里的配置，看我给的第一个链接，但该链接中hdfs-site.xml中少了一个配置

    <property>
       <name>dfs.namenode.http.address</name>
       <value>localhost:9870</value>
    </property>

将这个也填进hdfs-site.xml,对于其他配置，直接cv我给第一个链接的就可

注意

在hdfs-site.xml文件中有配置

       <name>dfs.namenode.name.dir</name>
       <value>file:/usr/local/hadoop/tmp/dfs/name</value> 

和

       <name>dfs.datanode.data.dir</name>         
       <value>file:/usr/local/hadoop/tmp/dfs/data</value>

之前已经将hadoop安装文件移到了/usr/local/hadoop

这里要切换成root模式

sudo su

手动创建一下配置中的/usr/local/hadoop/tmp/dfs/data和/usr/local/hadoop/tmp/dfs/name

也就是使用mkdir在/usr/local/hadoop文件夹下一层一层创建，不创建的话，后续运行会出现

localhost: ssh exited with exit code 1

以及运行jps，缺少NameNode和DataNode等问题

将上述两个路径创建之后，格式化namenode（还是在root模式下）

首先将linux当前输入命令行所在路径改为/usr/local/hadoop，然后运行

bin/hdfs namenode -format

成功的话最下面应该会出现

Storage directory /usr/local/hadoop/tmp/dfs/name has been successfully formatted.

的字样

由于当前还是root模式，运行

exit

将当前命令行所在行改为/usr/local/hadoop，运行hadoop

sbin/start-all.sh

然后

jps

只有NameNode和DataNode都显示才算成功，否则运行

sbin/stop-all.sh

重头检查一下是哪里没整对，切记namenode格式化不要多次使用

都显示的话，就可以打开浏览器输入

localhost:9870

就可以了，希望我的文章对你能有帮助