虚拟机Ubuntu安装Hadoop（伪分布式安装）

1.创建hadoop用户

在终端输入

sudo useradd -m hadoop -s /bin/bash

为hadoop用户设置密码,连续输入两次密码即可

sudo passwd hadoop

为Hadoop用户增加管理员权限，避免以后的麻烦

sudo adduser hadoop sudo

这里我们切换到hadoop用户，进行下一步操作

2.ssh的安装以及设置免密登录

检测ssh是否安装，有sshd说明已经启动

ps -ef |grep ssh

这边我们还需要安装ssh server，这边又yes输入yes就可以

sudo apt-get install openssh-server

登录ssh，有yes输入yes

ssh localhost

紧接着退出登录，设置无密码登录，使用ssh-keygen生成密匙，并将密匙加入到授权

exit                           
cd ~/.ssh/                     
ssh-keygen -t rsa              # 这里三步回车就好了
cat ./id_rsa.pub > ./authorized_keys  

这边进行验证

ssh localhost

出现这个说明免密登录设置成功 

3.java环境的搭建

因为hadoop是由java编写的，所以hadoop的安装与驱动需要jdk，这边我们需要下载jdk，并且设置环境变量。

首先我们先下载所需的jdk

下载网址Java Downloads | Oracle

 下载上图画圈的，下载完成之后，连接虚拟机与xftp,由于需要直到虚拟机的ip地址，我们进入虚拟机输入指令

ifconfig

 目前没有下载所需的配置，这边下载一下，如果没有则不下载

sudo apt install net-tools

再次查看ip，这边可知ip是192.168.220.132

 打开xftp新建会话

 这边最好在hadoop的家目录下创建一个为downloads的目录

mkdir downloads

将jdk传输到downloads目录下

 在虚拟机上切换到downloads目录下

cd downloads

接下来我们进行jdk的解压和安装，按着代码来就好了

mkdir downloads
cd downloads
cd /usr/lib
sudo mkdir jvm #创建存放jdk的文件夹
cd /home/hadoop/downloads
ls #展示jdk名称
sudo tar -zxvf jdk-18_linux-x64_bin.tar.gz -C /usr/lib/jvm #这边按照你自己下的版本名

给解压的jdk改名

cd /usr/lib/jvm
ls
sudo mv jdk-18.0.2.1 java

设置jdk的环境变量

vim /etc/profile

如果提示没有vim，则下载安装vim

sudo apt install vim

再执行上述代码

这边还要给 /etc/profile 增加可写权限

这边考虑简单

sudo chmod a+w /etc/profile

在后面添加

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

使变量生效

source /etc/profile

检查环境变量是否成功

java -version

 4.安装hadoop

下载hadoop，下载官网Apache Downloads

 继续通过xftp上传到downloads，这边不赘述

下面进行解压安装

sudo tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local    
cd /usr/local/
sudo mv hadoop-3.3.1 hadoop            #将文件夹名改为hadoop
 

检查是否安装成功

cd hadoop
bin/hadoop version

5. 伪分布式配置

先给两个文件增加可写权限

sudo chmod a+w etc/hadoop/core-site.xml
sudo chmod a+w etc/hadoop/hdfs-site.xml
 

为xml中的configuration 标签添加如下内容：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改配置文件 hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

编辑hadoop-env.sh

cd /usr/local/hadoop
sudo ./bin/hdfs namenode -format

cd /usr/local/hadoop
sudo ./sbin/start-dfs.sh 

jps