devbox
从前慢现在也慢
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

虚拟机Linux Hadoop部署_mapreduce 设置环境变量

作者：从前慢现在也慢 | 2024-08-19 13:39:12

赞

踩

mapreduce 设置环境变量

资源准备

课程链接：2023新版黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战项目全套一网打尽_哔哩哔哩_bilibili

hadoop 3.1.0百度网盘下载：https://pan.baidu.com/s/1p47t1BNn66T2xNpuBPB1SA  密码: 36nd

jdk 1.8百度网盘下载：https://pan.baidu.com/s/1_e9EyVfxss25jVCL_PtBZw  密码: 7drg

Linux系统：CentOS 7

一、Linux系统设置

1、固定ip

        给每台服务器固定一个ip地址，方便控制

修改网卡配置文件 

        先进入网卡配置文件的目录/etc/sysconfig/network-scripts，每个人的Linux系统的情况可能不同，不能完全按照视频上的来 

cd /etc/sysconfig/network-scripts

          进入到对应目录后，敲入ls命令查看有哪些网卡配置文件，每个网卡都有一个对应的配置文件，以ifcfg-<网卡名称>命名，后面紧跟网卡的名字以便区分

修改网卡配置文件：ifcfg-eth0：

  1. # 编辑网卡配置文件
  2. vim ifcfg-eth0
  3.  
  4. # 修改或添加以下参数
  5. BOOTPROTO='static'  # 协议设置为静态，即固定IP
  6. IPADDR = 192.168.88.101  # 要设置的IP
  7. NETMASK=255.255.255.0  # 子网掩码
  8. GATEWAY=192.168.88.2  # 网关

重启网卡

  1. systemctl stop network
  2. systemctl start network
  3. # 或
  4. systemctl restart network

        注：这里是为了演示所以IP改成了192.168.88.101，后续我把IP改回192.168.88.3了

2、SSH免密登录

创建ssh秘钥

        一路回车到底 

ssh-keygen -t rsa -b 4096

 将ssh秘钥发送到其他服务器

ssh-copy-id <目标服务器IP地址>

 免密登录其他服务器

ssh <目标服务器IP地址>

3、关闭防火墙

        集群化软件之间需要通过端口互相通讯，为了避免出现网络不同的问题，我们可以简单的在集群内部关闭防火墙 

  1. systemctl stop firewalld  # 关闭防火墙
  2. systemctl disable firewalld  # 关闭防火墙的开机自启

4、关闭SELinux

         linux有一个安全模块：SELinux，用以限制用户和程序的相关权限，以确保系统的安全稳定，因为我们当前属于学习过程，只需要将其关闭，避免后续Hadoop运行出现问题

  1. vim /etc/sysconfig/selinux
  2.  
  3. # 将SELINUX=enforcing改为
  4. SELINUX=disabled
  5. # 保存退出后重启虚拟机，一个字母都不能写错，不然无法启动虚拟机

5、时间同步

        同步多台linux的时间

  1. # 安装ntp软件
  2. yum install -y ntp
  3. # 更新时区
  4. rm -f /etc/localtime
  5. sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
  6. # 同步时间
  7. ntpdate -u ntp.aliyun.com
  8. # 开启ntp服务并设置开机自启
  9. systemctl start ntpd
  10. systemctl enable ntpd

二、安装JDK、Hadoop

1、安装JDK

解压

        jdk的安装位置不一定要跟课程上的一样，我将jdk安装在/opt目录下，将安装包放在安装目录下后，解压到当前目录

tar -zxvf jdk-8u371-linux-x64.tar.gz

创建软连接

ln -s /opt/jdk1.8.0_371 /opt/jdk

配置环境变量

  1. vim /etc/profile
  2.  
  3.  
  4. # 在后面追加下面内容
  5. JAVA_HOME=/opt/jdk
  6. PATH=$PATH:$JAVA_HOME/bin
  7.  
  8. # 使环境变量生效
  9. source /etc/profile

配置Java执行程序的软链接 

  1. # 删除系统自带的java软链接
  2. rm -f /usr/bin/java
  3. # 软链接自己安装的java程序
  4. ln -s /opt/jdk/bin/java /usr/bin/java

验证安装

java -version

 

        安装成功 

2、安装Hadoop

解压

tar -zxvf hadoop-3.1.0.tar.gz

创建软连接

ln -s /opt/hadoop-3.1.0 /opt/hadoop

配置环境变量

  1. vim /etc/profile
  2.  
  3.  
  4. # 在后面追加下面内容
  5. HADOOP_HOME=/opt/hadoop
  6. PATH=$PATH:$HADOOP_HOME/bin
  7. PATH=$PATH:$HADOOP_HOME/sbin
  8.  
  9. # 使环境变量生效
  10. source /etc/profile

三、hdfs部署

1、修改配置文件

        配置文件存放位置在hadoop/etc/hadoop/目录下 

 Hadoop核心配置文件：core-site.xml

  1. <configuration>
  2.     <property>
  3.         <name>fs.defaultFS</name>
  4.         <value>hdfs://192.168.88.3:8020</value>
  5.         <description>hads的网络通信路径</description>
  6.     </property>
  7.     <property>
  8.         <name>io.file.buffer.size</name>
  9.         <value>131072</value>
  10.         <description>io操作文件缓冲区大小</description>
  11.     </property>
  12. </configuration>

 hdfs核心配置文件：hdfs-site.xml

  1. <configuration>
  2.     <property>
  3.         <name>dfs.datanode.data.dir.perm</name>
  4.         <value>700</value>
  5.         <description>hdfs文件系统，默认创建的文件权限设置</description>
  6.     </property>
  7.     <property>
  8.         <name>dfs.namenode.name.dir</name>
  9.         <value>/data/nn</value>
  10.         <description>namenode元数据的存储位置</description>
  11.     </property>
  12.     <property>
  13.         <name>dfs.namenode.hosts</name>
  14.         <value>192.168.88.3,192.168.88.4,192.168.88.5</value>
  15.         <description>NameNode允许哪几个节点的DataNode连接</description>
  16.     </property>
  17.     <property>
  18.         <name>dfs.blocksize</name>
  19.         <value>268435456</value>
  20.         <description>hdfs默认块大小</description>
  21.     </property>
  22.     <property>
  23.         <name>dfs.namenode.handler.count</name>
  24.         <value>100</value>
  25.         <description>NameNode处理的并发线程数</description>
  26.     </property>
  27.     <property>
  28.         <name>dfs.datanode.data.dir</name>
  29.         <value>/data/dn</value>
  30.         <description>从节点NameNode的数据存储目录</description>
  31.     </property>
  32. </configuration>

        记得在linux中创建/data/nn目录 

 配置从节点：workers

  1. 192.168.88.3
  2. 192.168.88.4
  3. 192.168.88.5

配置Hadoop相关环境变量：hadoop-env.sh

  1. export JAVA_HOME=/opt/jdk
  2. export HADOOP_HOME=/opt/hadoop
  3. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  4. export HADOOP_LOG_DIR=$HADOOP_HOME/logs

将配置文件分发到其他服务器 

  1. scp -r hadoop-3.1.0 192.168.88.4:`pwd`/
  2. scp -r hadoop-3.1.0 192.168.88.5:`pwd`/

         记得在另外两台服务器上也创建好Hadoop的软链接，并配置环境变量

2、创建普通用户并设置目录权限

        由于root用户权限太高，在root用户下启动Hadoop程序并不安全，因此创建一个普通用户hadoop 

  1. # 创建用户
  2. useradd hadoop
  3. passwd hadoop
  4. # 设置目录归属和权限
  5. chown -R hadoop:hadoop /data
  6. chown -R hadoop:hadoop /opt

3、hdfs初始化

        在NameNode执行初始化命令 

  1. # 切换到hadoop用户
  2. su hadoop
  3. # 执行初始化命令
  4. hadoop -namenode format

        /data/nn文件夹出现新文件，表示NameNode初始化完成 

4、集群启停

  1. # 启动集群
  2. start-dfs.sh
  3. # 关闭集群
  4. stop-dfs.sh

5、查看网页

        在浏览器防卫NameNode（即：192.168.88.3）的9870端口，出现如下页面

         下面这一栏的数字为3（有多少个DataNode节点，数字就为多少，这里有3个DataNode节点），表示DataNode节点也启动成功了

        注：如果在操作过程中出现问题导致没法到达这一步，请检查下是否为虚拟机配置出错或没有正确修改配置文件

四、yarn配置

1、修改配置文件

MapReduce环境变量设置：mapred-env.sh 

  1. # 设置JDK路径
  2. export JAVA_HOME=/opt/jdk1.8.0_371
  3. # 设置JobHistoryServer进程内存为1G
  4. export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
  5. # 设置日志级别为INFO
  6. export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

MapReduce配置：mapred-site.xml 

  1. <configuration>
  2.         <property>
  3.                 <name>mapreduce.framework.name</name>
  4.                 <value>yarn</value>
  5.                 <description>MapReduce的运行框架设置为YARN</description>
  6.         </property>
  7.         <property>
  8.                 <name>mapreduce.jobhistory.address</name>
  9.                 <value>192.168.88.3:10020</value>
  10.                 <description>设置历史服务器的通讯端口</description>
  11.         </property>
  12.         <property>
  13.                 <name>mapreduce.jobhistory.webapp.address</name>
  14.                 <value>192.168.88.3:19888</value>
  15.                 <description>设置历史服务器的web端口</description>
  16.         </property>
  17.         <property>
  18.                 <name>mapreduce.jobhistory.intermediate-done-dir</name>
  19.                 <value>/data/mr-history/tmp</value>
  20.                 <description>历史信息在HDFS的记录临时路径</description>
  21.         </property>
  22.         <property>
  23.                 <name>mapreduce.jobhistory.done-dir</name>
  24.                 <value>/data/mr-history/done</value>
  25.                 <description>历史信息在HDFS的记录路径</description>
  26.         </property>
  27.         <property>
  28.                 <name>yarn.app.mapreduce.am.env</name>
  29.                 <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  30.                 <description>MapReduce HOME设置为HADOOP_HOME</description>
  31.         </property>
  32.         <property>
  33.                 <name>mapreduce.map.env</name>
  34.                 <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  35.                 <description>MapReduce HOME设置为HADOOP_HOME</description>
  36.         </property>
  37.         <property>
  38.                 <name>mapreduce.reduce.env</name>
  39.                 <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  40.                 <description>MapReduce HOME设置为HADOOP_HOME</description>
  41.         </property>
  42. </configuration>

 YARN环境变量设置：yarn-env.sh

  1. # 设置JDK路径的环境变量
  2. export JAVA_HOME=/opt/jdk
  3. # 设置HADOOP_HOME的环境变量
  4. export HADOOP_HOME=/opt/hadoop
  5. # 设置配置文件路径的环境变量
  6. export hadoop_conf_dir=$HADOOP_HOME/etc/hadoop
  7. # 设置日志文件路径的环境变量
  8. export HADOOP_LOG_DIR=$HADOOP_HOME/logs

YARN配置：yarn-site.xml

  1. <configuration>
  2.         <property>
  3.                 <name>yarn.resourcemanager.hostname</name>
  4.                 <value>192.168.88.3</value>
  5.                 <description>ResourceManager设置在192.168.88.3节点</description>
  6.         </property>
  7.         <property>
  8.                 <name>yarn.nodemanager.local-dirs</name>
  9.                 <value>/data/nm-local</value>
  10.                 <description>NodeManager中间数据本地存储路径</description>
  11.         </property>
  12.         <property>
  13.                 <name>yarn.nodemanager.log-dirs</name>
  14.                 <value>/data/nm-log</value>
  15.                 <description>NodeManager数据日志本地存储路径</description>
  16.         </property>
  17.         <property>
  18.                 <name>yarn.nodemanager.aux-services</name>
  19.                 <value>mapreduce_shuffle</value>
  20.                 <description>为MapReduce程序开启Shuffle服务</description>
  21.         </property>
  22.         <property>
  23.                 <name>yarn.log.server.url</name>
  24.                 <value>http://192.168.88.3:19888/jobhistory/logs</value>
  25.                 <description>历史服务器URL</description>
  26.         </property>
  27.         <property>
  28.                 <name>yarn.web-proxy.address</name>
  29.                 <value>192.168.88.3:8089</value>
  30.                 <description>代理服务器主机和端口</description>
  31.         </property>
  32.         <property>
  33.                 <name>yarn.log-aggregation-enable</name>
  34.                 <value>true</value>
  35.                 <description>开启日志聚合</description>
  36.         </property>
  37.         <property>
  38.                 <name>yarn.nodemanager.remote-app-log-dir</name>
  39.                 <value>/tmp/logs</value>
  40.                 <description>程序日志hdfs的存储路径</description>
  41.         </property>
  42.         <property>
  43.                 <name>yarn.resourcemanager.scheduler.class</name>
  44.                 <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
  45.                 <description>选择公平调度器</description>
  46.         </property>
  47. </configuration>

2、启动集群

        启动yarn前记得先查看hdfs是否在启动中

  1. # 一键启动yarn集群
  2. start-yarn.sh
  3. # 一键停止yarn集群
  4. stop-yarn.sh

3、查看网页

        在浏览器访问ResourceManager的8088端口 

        启动成功，如果在部署过程中出现错误，同样检查是否为虚拟机配置出错或没有正确修改配置文件

五、hive部署

（占位）

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/1002494
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号