hadoop3.2.1+hive3.1.2-docker安装_docker安装hive hadoop

Hadoop

1.拉取镜像

docker pull hadoop_hive:3
1

2.运行容器

建立hadoop用的内部网络(此步出错，若与其它网段冲突，可省略)
#指定固定ip号段

docker network create --driver=bridge --subnet=172.17.0.1/16  hadoop
1

建立Master容器，映射端口
10000端口为hiveserver2端口，后面本地客户端要通过beeline连接hive使用，有其他组件要安装的话可以提前把端口都映射出来

docker run -it -h Master --name Master -p 9870:9870 -p 8088:8088 -p 10000:10000 hadoop_hive:3 bash
1

若创建了网段则可指定网段运行

docker run -it --network hadoop -h Slave2 --name Slave2  hadoop_hive:3 bash
1

创建slave1

docker run -it -h Slave1 --name Slave1 hadoop_hive:3 bash
vim /etc/hosts
1
2

172.17.0.4 Slave1

创建slave2

docker run -it -h Slave2 --name Slave2 hadoop_hive:3 bash
vim /etc/hosts
1
2

172.17.0.5 Slave2

docker ps -a 查看容器状态

若为exited，则全部启动
docker start Master

三台机器，都修改host文件

docker exec -it Master /bin/bash
vim /etc/hosts
1
2

172.17.0.2 Master
172.17.0.4 Slave1
172.17.0.5 Slave2

3.启动hadoop

虽然容器里面已经把hadoop路径配置在系统变量里面，但每次进入需要运行source /etc/profile才能生效使用
或vi ~/.bashrc
添加 source /etc/profile

然后进入master，启动hadoop，先格式化hdfs
#进入Master容器

docker exec -it Master bash
1

#进入后格式化hdfs

root@Master:/# hadoop namenode -format
1

启动全部，包含hdfs和yarn

cd /usr/local/hadoop/sbin
root@Master:/usr/local/hadoop/sbin# ./start-all.sh
1
2

可以看到服务起来了，本地范围宿主机ip的8088及9870端口可以看到监控信息

查看分布式文件系统状态

root@Master:/usr/local/hadoop/sbin# hdfs dfsadmin -report
1

hive

Hive下载后上传到容器目录下：
下载地址：https://mirror-hk.koddos.net/apache/hive/hive-3.1.2/

拷贝安装包进Master容器

docker cp apache-hive-3.1.2-bin.tar.gz Master:/usr/local
1

进入容器

docker exec -it Master bash
cd /usr/local/
1
2

解压安装包

tar xvf apache-hive-3.1.2-bin.tar.gz
1

2.设置密码（可选设）
退出容器exit
下载CustomPasswdAuthenticator.jar
或百度一下自己打个包也完美。
复制密码包到容器hivelib下：

docker cp /root/CustomPasswdAuthenticator.jar Master:/usr/local/apache-hive-3.1.2-bin/lib
1

3.修改配置文件

docker exec -it Master bash
cd /usr/local/apache-hive-3.1.2-bin/conf
root@Master:/usr/local/apache-hive-3.1.2-bin/conf# cp hive-default.xml.template hive-site.xml
root@Master:/usr/local/apache-hive-3.1.2-bin/conf# vim hive-site.xml
1
2
3
4

在最前面添加下面配置：

  <property>
    <name>system:java.io.tmpdir</name>
    <value>/tmp/hive/java</value>
  </property>

  <property>
    <name>system:user.name</name>
    <value>${user.name}</value>
  </property>
1
2
3
4
5
6
7
8
9

点击“/”搜索hive.server2.authentication

缺省为NONE。此处改为CUSTOM

在下方添加property

<property>
  <name>hive.server2.custom.authentication.class</name>
  <value>org.apache.hadoop.hive.contrib.auth.CustomPasswdAuthenticator</value>
</property>
1
2
3
4

再添加用户密码 用户名root，密码root如果有多个就写多个property

<property>
    <name>hive.jdbc_passwd.auth.用户名</name>
    <value>密码</value>
    <description/>
</property>
1
2
3
4
5

Wq保存退出。

三、配置Hive相关环境变量

vim /etc/profile
1

#文本最后添加

export HIVE_HOME=/usr/local/apache-hive-3.1.2-bin
export PATH=$PATH:$HIVE_HOME/bin
1
2

配置后执行source /etc/profile 生效

4.配置mysql作为元数据库
1.在本地的mysql数据库建立个hive库

容器ip地址类似window的分配机制，如果不设置固定ip容器重启后会自动分配ip，因此数据库相关的容器建议设置为固定ip。

2.回到Master容器，修改关联数据库的配置

docker exec -it Master bash
vim /usr/local/apache-hive-3.1.2-bin/conf/hive-site.xml
1
2

搜索关键词修改数据库url、驱动、用户名，url根据上面建容器时候地址。
#注意hive配置文件里面使用&作为分隔，高版本myssql需要SSL验证，在这里设置关闭

  <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.0.103:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>hive.metastore.schema.verification</name>
    <value>false</value>
<property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

搜索去除特殊字符
wq保存退出。

mysql驱动上传到hive的lib下
exit退出到宿主机

docker cp /root/mysql-connector-java-8.0.22.jar Master:/usr/local/apache-hive-3.1.2-bin/lib
1

然后需要对hive的lib文件夹下的部分文件做修改，不然初始化数据库的时候会报错。

docker exec -it Master bash
1

slf4j这个包hadoop及hive两边只能有一个，这里删掉hive这边

cd /usr/local/apache-hive-3.1.2-bin/lib
root@Master:/usr/local/apache-hive-3.1.2-bin/lib# rm log4j-slf4j-impl-2.10.0.jar
1
2

guava这个包hadoop及hive两边只删掉版本低的那个，把版本高的复制过去，这里删掉hive，复制hadoop的过去

cd /usr/local/hadoop/share/hadoop/common/lib
root@Master:/usr/local/hadoop/share/hadoop/common/lib# cp guava-27.0-jre.jar /usr/local/apache-hive-3.1.2-bin/lib
root@Master:/usr/local/hadoop/share/hadoop/common/lib# rm /usr/local/apache-hive-3.1.2-bin/lib/guava-19.0.jar
1
2
3

5.初始化元数据库

cd /usr/local/apache-hive-3.1.2-bin/bin
root@Master:/usr/local/apache-hive-3.1.2-bin/bin# schematool -initSchema -dbType mysql
1
2

成功后提示:

Initialization script completed
schemaTool completed

6.验证
先创建一个数据文件放到/usr/local下

cd /usr/local
vim test.txt
1
2

内容：

1,jack
2,hel
3,nack

进入hive交互界面

root@Master:/usr/local# hive
1

退出命令行exit;

启动Hiveserver2

1.修改hadoop的一些权限配置

root@Master:/usr/local# vim /usr/local/hadoop/etc/hadoop/core-site.xml
1

加入以下配置

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
1
2
3
4
5
6
7
8

注意里面的root为访问的代理用户名，看自己使用什么用户访问的hive。不是全为root用户。
保存退出。

2.重启hdfs

cd /usr/local/hadoop/sbin
root@Master:/usr/local/hadoop/sbin# ./stop-dfs.sh
root@Master:/usr/local/hadoop/sbin# ./start-dfs.sh
1
2
3

3.后台启动hiveserver2

cd /usr/local/hadoop/sbin
root@Master:/usr/local/hadoop/sbin#  nohup hiveserver2 >/dev/null 2>/dev/null &
1
2

4.验证

查看10000端口运行是否正常，beeline命令，!connect连接，结果查询是否正常

netstat -ntulp |grep 10000
1

root@Master:/usr/local/hadoop/sbin# beeline
beeline> !connect jdbc:hive2://localhost:10000/default
1
2

!exit退出