Hadoop3.2.4+Hive3.1.2+sqoop1.4.7安装部署_虚拟机hive3.1.2配置

目录

一、软件包

二、JDK部署

1.JDK解压

2.设置环境变量

3.环境验证

4.分发JDK相关文件至Node_02、Node_03 

5.环境生效

三、Zookeeper部署

1.Zookeeper解压

2.Zookeeper配置

3.创建myid文件

4.设置环境变量并添加映射

5.分发ZooKeeper 相关文件至Node_02、Node_03

四、Hadoop部署

1.Hadoop解压

2.设置环境变量

3.查看hadoop版本

4.配置hadoop

 五、Hive部署

1.Hive解压

2.设置环境变量

3.hive部署-远程模式

六、Sqoop安装（在Node_02安装）

1.Sqoop解压

2.sqoop配置

3.设置环境变量

4.添加相关jar包

5. 测试sqoop

6.数据迁移

---

一、软件包

hadoop3.2.4.tar.gz ( 解压后若无src文件，则需再下载hadoop-3.2.4-src.tar.gz )

apache-hive3.1.2-bin.tar.gz

zookeeper-3.7.1.tar.gz

jdk-8u162-linux-x64.tar.gz

mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar

mysql-connector-java-5.1.40.tar.gz

sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz

java-json.jar

SecureCRT（远程连接虚拟机工具，或Xshell）

IdeaIU-2022.3.1（Hive可视化工具）

准备工作：1. 虚拟机Node_01、Node_02、Node_03，并在三台虚拟机上建立存放软件包目录/export/software 及存放应用的目录/export/servers；2.安装文件传输工具lrzsz：yum install lrzsz -y；3.通过SecureCRT将所需以上软件包上传至目录/export/software

二、JDK部署

1.JDK解压

    tar -zxvf /export/software/jdk-8u162-linux-x64.tar.gz -C /export/servers/

2.设置环境变量

    vi /etc/profile

export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

3.环境验证

   java -version 输出：

   java version "1.8.0_162"
  Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
  Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

4.分发JDK相关文件至Node_02、Node_03 

//--分发jdk
scp -r /export/servers/jdk/ root@node02:/export/servers/
scp -r /export/servers/jdk/ root@node03:/export/servers/
 
//--分发环境变量文件
 
scp /etc/profile root@node02:/etc/profile
scp /etc/profile root@node03:/etc/profile

5.环境生效

    三台虚拟机分别 source /etc/profile使环境生效

三、Zookeeper部署

1.Zookeeper解压

   tar -zxvf /