devbox
在线问答5
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

大数据之Hadoop部署

作者：在线问答5 | 2024-07-25 06:17:41

赞

踩

大数据之Hadoop部署

文章目录

在这里插入图片描述

搭建一个Hadoop集群涉及到多个步骤，包括服务器规划， 服务器环境准备，配置SSH无密码登录，安装Java，安装Hadoop，配置Hadoop，以及格式化和启动Hadoop集群。以下是在三台CentOS系统服务器上搭建Hadoop集群的必要步骤和详细的描述：

服务器规划

  • 准备三台服务器（Hadoop101、Hadoop102、Hadoop103）， 确保都已经安装了CentOS 7.9操作系统。
  • 为每台服务器配置静态IP地址，确保它们在同一子网内，并且子网掩码、网关和DNS设置正确。
  • 使得三台服务器之间可以互相ping通。
  • 确保三台服务器都能够访问互联网。
  • 角色规划
    • Hadoop101 作为NameNode和ResourceManager，负责集群的文件系统命名空间和资源管理。
    • Hadoop102 作为SecondaryNameNode，辅助NameNode进行元数据备份，不直接处理客户端读写请求。
    • Hadoop101、Hadoop102、Hadoop103 作为DataNode和NodeManager，存储实际的数据块并提供计算能力
Hadoop101Hadoop102Hadoop103
NameNodeSecondaryNameNode-
DataNodeDataNodeDataNode
ResourceManager--
NodeManagerNodeManagerNodeManager

服务器环境准备

对每台服务器做如下检查和配置， 下面是在root用户下进行操作。

1. 网络测试

  • 确保虚拟机可以正常上网。
    ping www.baidu.com

    • 1

2. 安装额外软件包

  • 安装epel-release以获取更多软件包。
    yum install -y epel-release

    • 1

3. 安装基础工具

  • 如果是最小系统版，需要安装以下工具：
    • net-tools：包含ifconfig等网络配置命令。
      yum install -y net-tools

      • 1
    • vim：文本编辑器。
      yum install -y vim

      • 1

4. 关闭防火墙

  • 停止并禁用防火墙服务。
    systemctl stop firewalld
systemctl disable firewalld.service

    • 1
    • 2

5. 创建用户并配置权限

  • 创建bigdata用户并设置密码。
    useradd bigdata
passwd bigdata

    • 1
    • 2
  • 配置bigdata用户具有root权限，无需密码即可执行sudo命令。
    vim /etc/sudoers

    • 1
    • 在/etc/sudoers文件中添加：
      bigdata   ALL=(ALL)     NOPASSWD:ALL

      • 1

6. 创建目录并设置权限

  • 在/opt目录下创建module和software文件夹。
    mkdir /opt/module
mkdir /opt/software

    • 1
    • 2
  • 修改文件夹的所有者和所属组为bigdata。
    chown bigdata:bigdata /opt/module
chown bigdata:bigdata /opt/software

    • 1
    • 2
  • 查看文件夹的所有者和所属组。
    ls -al /opt

    • 1

7. 卸载JDK

  • 如果服务器预装了JDK，执行以下命令卸载：
    rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

    • 1

8. 修改主机名

  • 登录到目标服务器：使用SSH或其他远程登录方式登录到需要修改主机名的服务器。
  • 编辑主机名配置文件：使用文本编辑器（如vim）编辑/etc/hostname文件。
    sudo vim /etc/hostname

    • 1
  • 设置新的主机名：在文件中输入新的主机名，例如hadoop101，然后保存退出。
  • 更新系统识别的主机名：使更改立即生效，可以使用以下命令：
    sudo hostname -F /etc/hostname

    • 1

9. 配置hosts文件

  • 打开hosts文件：编辑/etc/hosts文件，以将IP地址映射到相应的主机名。
    sudo vim /etc/hosts

    • 1
  • 添加或更新条目：在文件中添加或更新映射关系，每条映射占一行，格式为IP地址 空格 主机名。例如：
    192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.102 hadoop103

    • 1
    • 2
    • 3
    这里的IP地址替换为自己服务器的IP地址。
  • 确保无重复条目：检查hosts文件以确保没有重复或冲突的条目，这可能会导致网络解析问题。
  • 保存并关闭文件：完成编辑后，保存更改并关闭文本编辑器。

10. 重启服务器

  • 完成配置后，重启服务器以应用更改。
    reboot

    • 1

配置免密登录

为了方便管理，需要在服务器之间使用bigdata用户配置SSH无密码登录。

  1. 切换到bigdata 用户

    su bigdata

    • 1

  2. hadoop101生成SSH密钥对：

    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

    • 1

    该命令会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）。

  3. hadoop101上执行命令 ssh-copy-id, 将hadoop101公钥复制到每台服务器的~/.ssh/authorized_keys：

    ssh-copy-id hadoop101
ssh-copy-id hadoop102
ssh-copy-id hadoop103

    • 1
    • 2
    • 3

安装Java

下面的操作使用bigdata 用户在 hadoop101上进行操作。

  • 切换到 /opt/software 目录

    cd /opt/software

    • 1

  • 使用 wget 下载 Java 1.8 版本

    wget https://repo.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.tar.gz

    • 1

    请检查链接是否有效，因为Oracle的下载链接可能会变化。

  • 使用 tar 解压文件到 /opt/module 目录

    tar -xzvf jdk-8u301-linux-x64.tar.gz -C /opt/module/

    • 1

  • 生成软链接

    ln -s /opt/module/jdk1.8.0_301 /opt/module/jdk

    • 1

  • 设置 JDK 的环境变量

    • 新建/etc/profile.d/bigdata_env.sh文件

      touch /etc/profile.d/bigdata_env.sh

      • 1

    • 添加如下内容，然后保存（:wq）退出

      #JAVA_HOME
export JAVA_HOME=/opt/module/jdk
export PATH=$PATH:$JAVA_HOME/bin

      • 1
      • 2
      • 3

    • 让环境变量生效

      source /etc/profile.d/bigdata_env.sh

      • 1

  • 验证安装

    java -version
echo $JAVA_HOME

    • 1
    • 2

  • 分发软件和环境变量

    • 将JAVA软件， JAVA软连接， 环境变量配置文件 分发到hadoop102 和 hadoop103 上
    # 分发到 hadoop102
rsync -av "/opt/module/jdk1.8.0_202" "hadoop102:/opt/module"
rsync -av "/opt/module/jdk" "hadoop102:/opt/module"
sudo rsync -av "/etc/profile.d/bigdata_env.sh" "hadoop102:/etc/profile.d"
# 分发到 hadoop103
rsync -av "/opt/module/jdk1.8.0_202" "hadoop103:/opt/module/"
rsync -av "/opt/module/jdk" "hadoop103:/opt/module/"
sudo rsync -av "/etc/profile.d/bigdata_env.sh" "hadoop103:/etc/profile.d"

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8

安装Hadoop

1. Hadoop部署

下面的操作使用bigdata 用户在 hadoop101上进行操作。

  • 进入Hadoop安装包路径

    • 打开终端，使用命令 cd /opt/software/ 进入包含Hadoop安装包的目录。

  • 下载Hadoop
    从华为镜像下载Hadoop的tar.gz包，并解压到合适的目录。

    # 下载hadoop3.3.1
wget https://mirrors.huaweicloud.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

    • 1
    • 2

  • 解压Hadoop安装文件

    • 将Hadoop压缩包解压到/opt/module/目录。
      tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

      • 1

  • 验证解压结果

    • 通过执行命令 ls /opt/module/hadoop-3.1.3 来检查Hadoop目录是否存在，以确认解压操作是否成功。

  • 创建Hadoop软连接

    • 如果解压成功，创建软连接hadoop，以简化路径。
      ln -s /opt/module/hadoop-3.1.3 /opt/module/hadoop

      • 1

  • 编辑环境变量配置文件

    • 首先，使用 pwd 命令获取当前Hadoop安装目录的完整路径。

    • 接着，使用 sudo vim /etc/profile.d/bigdata_env.sh 命令以超级用户权限打开环境变量配置文件进行编辑。

    • 在打开的配置文件中，滚动到文件末尾（使用 Shift + G）。

    • 添加以下行来设置Hadoop的环境变量：

      # HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

      • 1
      • 2
      • 3
      • 4

    • 这些行将Hadoop的bin和sbin目录添加到系统的PATH环境变量中，使得可以在任何位置调用Hadoop的命令。

    • 在Vim编辑器中，使用 :wq 命令保存更改并退出编辑器。

  • 使环境变量生效

    • 在hadoop101上执行下面的命令
      source /etc/profile.d/bigdata_env.sh

      • 1

  • 验证安装

    • 通过下面命令验证安装是否成功，以及环境变量是否生效。
      hadoop version
echo $HADOOP_HOME

      • 1
      • 2

  • 分发软件和环境变量

    • 将Hadoop软件， Hadoop软连接， 环境变量配置文件 分发到hadoop102 和 hadoop103 上
      # 分发到 hadoop102
rsync -av "/opt/module/hadoop-3.1.3" "hadoop102:/opt/module"
rsync -av "/opt/module/hadoop" "hadoop102:/opt/module"
sudo rsync -av "/etc/profile.d/bigdata_env.sh" "hadoop102:/etc/profile.d"
# 分发到 hadoop103
rsync -av "/opt/module/hadoop-3.1.3" "hadoop103:/opt/module/"
rsync -av "/opt/module/hadoop" "hadoop103:/opt/module/"
sudo rsync -av "/etc/profile.d/bigdata_env.sh" "hadoop103:/etc/profile.d"

      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8

2. 配置Hadoop

进入hadoop配置目录cd /opt/module/hadoop/etc/hadoop/, 修改Hadoop配置文件core-site.xml, hdfs-site.xml, yarn-site.xml, mapred-site.xml, workers ，设置集群模式和相关参数。

  • 文件core-site.xml配置：

    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定NameNode的地址 -->
	<property>
	    <name>fs.defaultFS</name>
	    <value>hdfs://hadoop101:8020</value>
	</property>
	<!-- 指定hadoop数据的存储目录 -->
	<property>
	    <name>hadoop.tmp.dir</name>
	    <value>/opt/module/hadoop/data</value>
	</property>
	
	<!-- 配置HDFS网页登录使用的静态用户为bigdata -->
	<property>
	    <name>hadoop.http.staticuser.user</name>
	    <value>bigdata</value>
	</property>
	
	<!-- 配置该bigdata(superUser)允许通过代理访问的主机节点 -->
	<property>
	    <name>hadoop.proxyuser.bigdata.hosts</name>
	    <value>*</value>
	</property>
	<!-- 配置该bigdata(superUser)允许通过代理用户所属组 -->
	<property>
	    <name>hadoop.proxyuser.bigdata.groups</name>
	    <value>*</value>
	</property>
	<!-- 配置该bigdata(superUser)允许通过代理的用户-->
	<property>
	    <name>hadoop.proxyuser.bigdata.users</name>
	    <value>*</value>
	</property>
</configuration>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37

  • 文件hdfs-site.xml配置：

    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop101:9870</value>
    </property>
    
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop102:9868</value>
    </property>
    
    <!-- 测试环境指定HDFS副本的数量1 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22

  • 文件yarn-site.xml配置

    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop101</value>
    </property>
    
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    
    <!--yarn单个容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    
    <!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    
    <!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48

  • 文件mapred-site.xml配置

    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

  • 文件workers配置

    hadoop101
hadoop102
hadoop103

    • 1
    • 2
    • 3

  • 分发配置文件

    • 将配置文件分发到hadoop102 和 hadoop103 上
      # 分发到 hadoop102
rsync -av "/opt/module/hadoop/etc/hadoop" "hadoop102:/opt/module/hadoop/etc/"
# 分发到 hadoop103
rsync -av "/opt/module/hadoop/etc/hadoop" "hadoop103:/opt/module/hadoop/etc/"

      • 1
      • 2
      • 3
      • 4

3. 格式化Hadoop文件系统

  • 在NameNode服务器上（hadoop101）格式化Hadoop文件系统。

    hdfs namenode -format

    • 1

4. 启动Hadoop集群

  • 启动Hadoop集群的所有守护进程。

    start-dfs.sh
start-yarn.sh

    • 1
    • 2

5. 验证Hadoop集群

  • 使用jps命令检查Java进程，确认Hadoop守护进程是否启动。

    jps
# hadoop101 上启动以下进程
6084 DataNode
6552 NodeManager
6426 ResourceManager
5935 NameNode
# hadoop102 上启动以下进程
30834 ResourceManager
28487 SecondaryNameNode
28695 NodeManager
28379 DataNode
# hadoop103 上启动以下进程
2466 NodeManager
2340 DataNode

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14

  • 页面查看

    • hdfs 页面地址 http://hadoop101:9870
      在这里插入图片描述

    • yarn 页面地址 http://hadoop101:8088

    在这里插入图片描述

注意事项

  • 企业开发中，单个服务器的防火墙通常是关闭的，但公司整体会设置安全的防火墙。

参考文件

Java | 华为镜像仓库

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/在线问答5/article/detail/878760
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号