繁依Fanyi0

这个屌丝很懒，什么也没留下！

热门标签

Hadoop入门（一）

作者：繁依Fanyi0 | 2024-04-25 15:17:34

踩

hadoop

1. Hahoop概述

1.1 Hodoop是什么

Hadoop是一个有Apache基金会所开发的分布式系统基础架构

主要解决海量数据的存储和海量数据的分析计算问题

广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈

1.2 Hadoop优势

高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。

高扩展性：在集群间分配任务数据，可方便地扩展数以千计的节点。

高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。

高容错性：能够自动将失败的任务重新分配。

1.3 Hadoop组成

Hadoop1.x组成：Common（辅助工具）、HDFS（数据存储）、MapReduce（计算+资源调度）

Hadoop2.x组成：Common（辅助工具）、HDFS（数据存储）、Yarn（资源调度）、MapReduce（计算）

在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。

在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算。

Hadoop3.x时代在组成上没有变化。

1.3.1 HDFS 架构概述

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。

NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。

DataNode（dn）：本地文件系统存储文件块数据，以及快数据的校验和。

3）Secondary NameNode（2nn）：每隔一段时间对NameNode元数据备份。

1.3.2 YARN 架构概述

一种资源协调者，是Hadoop的资源管理器。

ResourceManager（RM）：整个集群资源（内存、CPU等）的老大

NodeManage（NM）：单个节点服务器的老大

ApplicationMaster（AM）：单个任务运行的老大

Container ：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等。

1.3.3 MapReduce架构概述

MapReduce将计算过程分为俩个阶段：Map和Reduce

Map阶段并行处理输入数据

Reduce阶段对Map结果进行汇总

在这里插入图片描述

2. Hadoop运行环境搭建

2.1 虚拟机环境准备

2.1.1 安装 Cent OS 7

在这里插入图片描述

现在呢，只是相当于把 “硬件（类型与组装了一台电脑，只不过这台电脑是虚拟的）” 安装完成。接下来，安装 "软件"

进去之后直接敲回车，然后等待安装

在这里插入图片描述

2.1.2 配置IP

点击左上角的编辑 ——> 虚拟网络编辑器

在这里插入图片描述

然后在 Windows 系统上找到 VMware Network Adapter VMnet8 编辑 IPv4 修改如下：（我的是win11系统，win7，win10的右击右下方的网络图标就可以）

在这里插入图片描述

2.1.3 配置主机名称映射

在这里插入图片描述

2.2 Xshell 远程访问

Xshell的安装教程我就不写了。

Xshell 远程连接服务器

在这里插入图片描述

修改主机映射进入 C:\Windows\System32\drivers\etc 路径

这么做的目的是为了方面我们后面在Xshell 中的远程连接，以后再创建远程连接时，就不需要输出ip了，直接输入主机名就好，效果如下：

在这里插入图片描述

2.3 Xftp 远程传输工具

Xftp 的安装过程我也就不写，无脑下一步就好，记着更改安装目录就好。

2.4 安装 epel-release

注：Extra Package for Enterprise Linux 是为"红帽系"的操作系统提供额外的软件包，适用于 RHEL、CentOS和Scientific Linux。相当于一个软件仓库，大多数 rpm 包再官方 repository 中是找不到的（说白了就是一个类似于补丁的一个东西）

在这里插入图片描述

输入命令：yum install -y epel-release

在这里插入图片描述

出现以下操作，则成功。若出现错误：某某PID被锁定，则通过命令 kill -9 进程号杀死进程，然后再从新执行以上命令。

在这里插入图片描述

2.5 关闭防火强，关闭防火墙开机自启

输入命令：

systemctl stop firewalld
1

在这里插入图片描述

systemctl disable firewalld.service
1

在这里插入图片描述

2.6 配置tom用户具有root权限，方便后期加sudo执行root权限的命令

vim /etc/sudoers
1

在这里插入图片描述

修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示：
在这里插入图片描述

2.7 卸载自带的 JDK

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

参数解读：
rpm -qa：查询所安装的所以rpm软件包
grep -i：忽略大小写
xargs -n1：表示每次只传递一个参数
rpm -e --nodeps：强制卸载软件
1
2
3
4
5
6
7

在这里插入图片描述