Hadoop在ubuntu虚拟机上的伪分布式部署|保姆级教程_ubuntu hadoop伪分布式集群搭建

一、目标

通过本实验的练习，应达到如下目标：

• 了解Hadoop的三种安装模式
• 掌握Hadoop的安装配置方法
• 熟悉基本的Hadoop命令
• 理解Hadoop:示例程序WordCount的运行方法

二、Hadoop的三种安装模式

• 单机模式standalone mode

  • 单机模式是Hadoop的默认模式
  • 在这种默认模式下配置文件是没有信息的，Hadoop完全运行在本地
  • 该模式主要用于开发调试MapReduce程序的应用逻辑

• 伪分布式模式pseudo distributed mode

  • Hadoop通过不同的java进程模拟多个进程，实现模拟的分布式配置
  • (each Hadoop daemon runs in a separate Java process.)
  • 伪分布式模式适合初学者用于学习Hadoop的原理和基本使用方法

• 分布式（集群）模式distributed mode

  • Hadoop安装在多个(3+)个节点的集群之上
  • 分布式模式是Hadoop在实际生产应用中采用的模式

⭐本实验采用【伪分布式】安装模式

三、实验环境与安装文件

操作系统在这里选用的是ubuntu22及以上

四、实验流程

4.1：安装操作系统

4.1.0：安装虚拟机

由于我采用的是在windows环境中安装虚拟机来安装linux系统，所以我要先下载和安装VM虚拟机：
参考教程：vmware-17虚拟机安装教程及版本密钥（保姆级，包含图文讲解，不需注册账户）

4.1.1：安装CentOS操作系统or ubuntu

参考教程：inux入门三：安装CentOS 7（桌面版）；

⭐【Tools】Ubuntu22.04安装详细教程

4.1.2：配置操作系统网络

虚拟机网卡默认有三种配置模式:桥接模式、NAT模式、仅主机模式，在本实验中，我们配置的是 NAT模式。

NAT（Network Address Translator，网络地址转换）是用于在本地网络中使用私有地址，在连接互联网时转而使用全局 IP 地址的技术。NAT实际上是为解决IPv4地址短缺而开发的技术。

可在安装Ubuntu的过程中选择：

---

• 桥接模式
  需要依赖外部网络环境，VMware 虚拟出来的操作系统就像是局域网中的一台独立的主机，需要手工为虚拟系统配置IP地址，虚拟机的ip必须和宿主机(windows)的ip是同一个网段。开发环境下可能会使用, 学习环境不用, 类似于虚拟机和主机就好比插在同一台交换机上的两台电脑
  

• NAT模式
  使用 NAT 模式，就是让虚拟系统借助 NAT（网络地址转换） 功能，通过宿主机器所在的网络来访问公网，如果主机能够正常上网，那么虚拟机也能够直接上网。此时虚拟机处于一个新的网段内，由VMware提供的DHCP服务自动分配IP地址，然后通过VMware提供的NAT服务，共享主机实现上网, 不依赖外部网络环境

• 仅主机模式
  仅主机模式和NAT模式是类似的,在该模式下，虚拟网络是一个全封闭的网络，它唯一能够访问的就是主机，当然多个虚拟机之间也可以互相访问， 只需要记住仅主机模式是无法进行上网的
  

4.2：创建Hadoop用户并登录

如果你在安装ubuntu操作系统时起的用户名就是hadoop那么这小节也可以省略