Hadoop3单机安装部署_hadoop3安装部署

#配置虚拟机网络

[我们这里用的是VMnet8 所谓的NAT模式]

点击编辑 ->虚拟网络设置->VMnet8->更改设置

[我这是win10的情况下 win11可能有点不一样]

右击WIFI点击打开网络和internet设置

点击更改适配器选项

找到VMware Network Adapter VMnet8

右击属性点击Internet 协议版本 4(TCP/IPv4)

Linux修改网络配置

vi /etc/sysconfig/network-scripts/ifcfg-eng33

TYPE=Ethernet
 
PROXY_METHOD=none
 
BROWSER_ONLY=no
 
BOOTPROTO=static
 
DEFROUTE=yes
 
IPV4_FAILURE_FATAL=no
 
IPV6INIT=yes
 
IPV6_AUTOCONF=yes
 
IPV6_DEFROUTE=yes
 
IPV6_FAILURE_FATAL=no
 
IPV6_ADDR_GEN_MODE=stable-privacy
 
NAME=ens33
 
UUID=12df9c13-c591-4196-ac6e-805c9dd57e13
 
DEVICE=ens33
 
ONBOOT=yes
 
IPADDR=192.168.10.24
 
NETMASK=255.255.255.0
 
GATEWAY=192.168.10.2
 
DNS1=192.168.10.2
 
DBS2=8.8.8.8

#修改 BOOTPROTO=static  默认可能是dhcp 动态ip

DNBOOT=yes

IPADDR=192.168.10.24

NETMASK=255.255.255.0

GATEWAY=192.168.10.2

DNS1=192.168.10.2

DNS2=8.8.8.8

#使得ip修改生效 重启网络

systemctl restart network

#验证

ping www.baidu.com

#查看ip地址 

ip addr

关闭selinux防火墙

# 关闭防火墙
 
systemctl stop firewalld //停止firewalld防火墙
 
systemctl disable firewalld //关闭防火墙开机自启动
 
systemctl status firewalld //查看防火墙状态

vi /etc/sysconfig/selinx
 
SELINUX=disabled

设置主机名

homenamectl set-hostname hadoop100

查看主机名

hostname

[会出现修改的主机名]

Linux ip主机映射

vi /etc/hosts

ip  hostname

windows主机映射

C:\Windows\System32\drivers\etc\hosts

新建安装包文件夹 软件文件夹

mkdir opt/software opt/module

使用xftp /winscp/rz等 上传文件

使用xshell等工具连接虚拟机

#这是基于rpm的安装方式

安装配置jdk

#rpm -ivh jdk-8u281-linux.x64.rpm 

配置环境变量

#export JAVA_HOME=/usr/java/jdk1.8.0_281-amd64

#export CLASSAATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib.tools.jar

#export PATH=$JAVA_HOME/bin

#这是基于tar.gz安装 

tar -zxf opt/software/jdk-8u261-linux-x64.tar.gz
 

export JAVA_HOME=/opt/module/jdk1.8.0_261

CLASSPATH=.:$JAVA_HOME/lib.tools.jars

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

使得环境变量生效

source /etc/profile

查看jdk环境变量是否配置正确

javac -version

java -version

安装配置hadoop

tar -zxvf /opt/software/hadoop-3.1.4.tar.gz -C /opt/module

/配置环境变量

export HADOOP_HOME=/opt/module/hadoop-3.1.4

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使得环境变量生效

source /etc/profile

查看hadoop环境变量是否配置正确

hadoop version

配置hadoop-env.sh

HDFS_NAMENODE_USER=root

HDFS_DATANODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

export JAVA_HOME=/opt/module/jdk1.8_261

配置core-site.xml

<configuration>
 
<property>
 
        <name>fs.defaultFS</name>
 
        <value>hdfs://hadoop100:9000</value>
 
    </property>
 
</configuration>

配置hdfs-site.xml

<configuration>
 
 <property>
 
        <name>dfs.replication</name>
 
        <value>1</value>
 
    </property>
 
</configuration>

免密操作

ssh-keygen -t rsa 一路回车

公钥和私钥

id_rsa 和 id_rsa.pub，其中 id_rsa 是私钥(客户端使用)，id_rsa.pub 这个是公钥(服务器使用)

然后进行ssh-copy-id hadoop100

格式化文件系统

hdfs namenode -format

查看进程

jps

启动NameNode DataNode

start-dfs.sh

YARN 配置

配置yarn-site.xml

<configuration>
 
<!-- Site specific YARN configuration properties -->
 
<property>
 
        <name>yarn.nodemanager.aux-services</name>
 
        <value>mapreduce_shuffle</value>
 
    </property>
 
    <property>
 
        <name>yarn.nodemanager.env-whitelist</name>
 
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
 
    </property>
 
</configuration>

配置mapred-site.xml

<configuration>
 
    <property>
 
        <name>mapreduce.framework.name</name>
 
        <value>yarn</value>
 
    </property>
 
    <property>
 
        <name>mapreduce.application.classpath</name>
 
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
 
    </property>
 
</configuration>

hadoop-env.sh

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root 

查看进程

jps

查看YARN Web hadoop100:8088

习题

hadoop jar  hadoop-mapreduce-examples-3.1.4.jar pi 10 20

新建目录

hdfs dfs -mkdir input

将本地文件上传到HDFS路径

hdfs dfs -put etc/hadoop/.*xml input 

hdfs dfs -put  /opt/module/hadoop-3.1.4/etc/hadoop/*.xml input

查看目录下内容

hdfs dfs -ls input

运行程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar grep input output 'dfs[a-z.]+'

hdfs dfs -ls /user/root/output

/user/root/out/_SUCCESS  运行成功标志

/user/root/out/part-r-00000  结果

查看结果

hdfs dfs -cat /user/root/output/part-r-00000

删除

hdfs dfs -rm -r hdfs://hadoop100:9000/user/root/output