在Ubuntu上安装Hadoop集群最速度教程_ubuntu hadoop环境搭建

Hadoop环境搭建

搭建环境

操作系统：ubuntu-23.04-desktop-amd64.iso
虚拟机:VMware Workstation Pro

虚拟机安装

1.新建虚拟机，选择自定义

不要选择典型安装，典型安装之后登陆不上去，用户名和密码是正确的也登陆不上去（可能是这个版本的ubuntu有bug）

2.选择虚拟机硬件兼容性

默认即可，点击下一步

3.安装客户机操作系统

选择稍后安装操作系统

4.选择客户机操作系统

Linux，ubuntu64位

5.命名虚拟机

位置最好在D盘

6.处理器配置

内核数量改为2

7.此虚拟机的内存

默认即可，下一步

8.网络类型

使用网络地址转换

9.选择I/O控制器类型

LSI Logic(L)

10.选择磁盘类型

SCIS(s)

11.选择磁盘

创建新虚拟磁盘

12.指定磁盘容量

最好设置大一点，要不然后续修改起来困难

13.指定磁盘文件

14.点击虚拟机设置

使用你下载的ISO

Ubuntu安装

点击开启此虚拟机

安装

换源

设置->关于->软件->其他->选择服务器（推荐中科大的）

配置静态网络

1.查看网络是否连通

ping baidu.com

2.安装net-tools

sudo su
apt upgrade
apt install net-tools

3.查看物理地址

ifconfig

3.查看ip地址的起始和结束地址

4.修改网络配置文件

点击有线设置

ip地址设置参照3自行选择（在起始地址和结束地址的范围内）
子网掩码设置为默认值：255.255.255.0
网关把ip最后一段改为2
DNS使用谷歌提供的免费dns:8.8.8.8

然后重启网卡。激活配置 测试ip是否配置完成：

ip a

测试DNS是否配置成功，测试能否访问百度

ping 8.8.8.8
ping baidu.com

虚拟机克隆设置

1. 虚拟机克隆（右键虚拟机->管理->克隆） 创建完整克隆

1. 修改主机名，开启Hadoop02,修改主机名
   主机：

hostnamectl set-hostname hadoop01
reboot  

hadoop2同上
3. 网络配置文件修改 把ip改为主机ip加一

4. 重新启动网络配置 5. 按此步骤克隆hadoop3

配置hosts文件和ssh免密登录

1. 修改hosts配置文件（所有虚拟机都需要）

apt install vim
vim /etc/hosts

2. 开启ssh服务

sudo apt-get update
sudo apt-get install openssh-server

当安装完后

sudo service ssh start

检查是否运行

sudo service ssh status

运行成功会显示

开机自启动

sudo systemctl enable ssh

1. 生成密钥文件

ssh-keygen -t rsa

4. 将本机公钥文件复制到其他虚拟机上

ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03

一定要切回初始用户，因为Ubuntu的root用户密码是随机的确定不了

5. 查看是否配置成功

Hadoop集群配置

1. 在所有虚拟机根目录下新建文件夹export，export文件夹中新建data、servers和software文件

cd /
sudo mkdir -p /export/{data,servers,software}

1. 准备安装包
   hadoop-3.3.6.tar.gz jdk-8u391-linux-x64.tar.gz
2. 下载Xshell和Xftp
   打开xftp

输入ip和账户密码登录

1. 在Xshell先进入software文件内，传文件
   先修改export权限

sudo chmod 777 /export
sudo chmod 777 /export/software

1. 登录Xshell远程操控虚拟机
   操作和xftp一样，登录之后的图片为

1. 安装jdk（所有虚拟机都要有的操作）
   6.1 解压jdk

sudo su
cd /export/software
tar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/servers/

6.2 重命名jdk目录

cd /export/servers
mv jdk1.8.0_391 jdk

6.3 配置环境变量

vim /etc/profile
 
#在配置文件末尾追加
export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

6.4 使配置文件生效

source /etc/profile

6.5 查看是否生效

java -version

如下图则生效

7. Hadoop安装（所有虚拟机都要操作）
7.1 解压hadoop

cd /export/software
tar -zxvf hadoop-3.3.6.tar.gz -C /export/servers/

7.2 打开配置文件

vim /etc/profile

7.3 配置hadoop环境变量

#在文件末尾追加
export HADOOP_HOME=/export/servers/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

7.4 使配置文件生效

source /etc/profile

7.5 查看是否配置成功

hadoop version

1. Hadoop集群配置
   8.1 进入主节点设置目录

cd /export/servers/hadoop-3.3.6/etc/hadoop/

8.2 修改hadoop-env.sh文件

vim hadoop-env.sh
# 添加
export JAVA_HOME=/export/servers/jdk

8.3 修改core-site.xml

vim core-site.xml
 
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/servers/hadoop-3.3.6/tmp</value>
    </property>
</configuration>

8.4 修改hdfs-site.xml

vim hdfs-site.xml
 
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop02:50090</value>
    </property>
</configuration>

8.5 修改mapred-site.xml

vim mapred-site.xml
 
<configuration>
 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

8.6 修改yarn-site.xml

vim yarn-site.xml
 
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

8.7 修改slaves文件

#将文件中的localhost删除，添加主节点与子节点的hostname
vim workers

8.8 将主节点中配置好的文件和hadoop目录copy给子节点

scp /etc/profile hadoop02:/etc/profile
scp /etc/profile hadoop03:/etc/profile
scp -r /export/ hadoop02:/
scp -r /export/ hadoop03:/

8.9 使子节点中的配置文件生效

# 返回子节点hadoop02,hadoop03
source /etc/profile

8.10 在主节点格式化文件系统

hdfs namenode -format

Hadoop集群测试

1. 启动集群 1.1 在主节点启动所有HDFS服务进程

start-dfs.sh

1.2 在主节点启动所有HDFS服务进程

start-yarn.sh

1.3 使用jps命令查看进程

2. 打开window下的C:\Windows\System32\drivers\etc打开hosts文件，在文件末添加三行代码：

192.168.135.129 hadoop01
192.168.135.130 hadoop02
192.168.135.131 hadoop03

1. 通过UI界面查看Hadoop运行状态，在Windows系统下，访问http://hadoop01:50070，查看HDFS集群状态
   如果查看不了关闭虚拟机防火墙

sudo ufw disable

1. 在Windows系统下，访问http://hadoop01:8088，查看Yarn集群状态

Finally

ubuntu搭建hadoop集群中间可能会遇到许多小问题，比如ssh-copy-id,最后的访问web端等等，以及中间要无数次切换普通用户和root来达到互联，可能centos搭建hadoop会简单一点。搭建起来确实不太容易对于新手来说不太友好，做这样一个教程来帮助新手在ubuntu上配置hadoop集群。