devbox
你好赵伟
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

k8s中部署hive，包括客户端及服务端

作者：你好赵伟 | 2024-05-21 22:58:53

赞

踩

k8s中部署hive，包括客户端及服务端

（作者：陈玓玏）


一、前提

  1. 部署好了k8s；
  2. 部署好了hadoop；

二、镜像封装

因为hive是基于hadoop的，而我们已经部署好了hadoop，所以直接通过现有hadoop的镜像来封装hive的镜像。helm上也有可以直接使用的chart，但是版本可能和我们需要的不一样，所以还是自己封装比较好。

首先查一下我们的镜像，因为我的hadoop是用helm部署的，需要先明确一下。

sudo docker images |grep hadoop

  • 1

在这里插入图片描述
用的是3.3.2版本，镜像名是farberg/apache-hadoop。

编写dockerfile如下：

FROM farberg/apache-hadoop:3.3.2

RUN rm -f /etc/localtime && ln -sv /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo "Asia/Shanghai" > /etc/timezone

RUN export LANG=zh_CN.UTF-8

RUN wget https://mirrors.aliyun.com/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

ENV HIVE_VERSION 3.1.3
RUN tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/ && mv /opt/apache-hive-3.1.3-bin /opt/hive
ENV HIVE_HOME=/opt/hive
ENV PATH=$HIVE_HOME/bin:$PATH

#这里mysql的jar包的版本要和后面部署的mysql一致
RUN wget https://repo1.maven.org/maven2/com/mysql/mysql-connector-j/8.0.32/mysql-connector-j-8.0.32.jar && mv mysql-connector-j-8.0.32.jar /opt/hive/lib/

WORKDIR /opt/

# Hdfs ports
EXPOSE 50010 50020 50070 50075 50090 8020 9000

# Mapred ports
EXPOSE 19888

#Yarn ports
EXPOSE 8030 8031 8032 8033 8040 8042 8088

#Other ports
EXPOSE 49707 2122

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29

hive的镜像在这里下载比较快：
https://mirrors.aliyun.com/apache/

dockerfile编写好之后，通过以下命令构建镜像：

sudo docker build -t ccr.ccs.tencentyun.com/cube-studio/hadoop-hive:v3.3.2-3.1.3 .

  • 1

镜像构建后通过以下命令推送：

sudo docker push ccr.ccs.tencentyun.com/cube-studio/hadoop-hive:v3.3.2-3.1.3

  • 1

推送好之后，在cube studio平台上，新建一个pipeline，使用自定义镜像模板，填写镜像为ccr.ccs.tencentyun.com/cube-studio/hadoop-hive:v3.3.2-3.1.3，debug，检查目录对不对，检查环境变量是否正确，在命令行输入hive命令，看是否能正常执行。
在这里插入图片描述
都正常则表明镜像是没问题的，可以进行下一步了。

三、部署mysql

这里之前写过了怎么在k8s部署mysql，所以直接用就可以了。文章链接：https://blog.csdn.net/weixin_39750084/article/details/136366800

四、部署hive

apiVersion: v1
kind: ConfigMap
metadata:
  name: hive-custom-config-cm
  labels:
    app: hive
data:
  bootstrap.sh: |-
    #!/bin/bash

    cd /root/bootstrap

    # Apply custom config file context
    cp hive-site.xml $HIVE_HOME/conf/
    cp core-site.xml $HADOOP_HOME/etc/hadoop/
    cp yarn-site.xml $HADOOP_HOME/etc/hadoop/

    # initSchema
    $HADOOP_HOME/bin/hadoop fs -test -e '/user/hive/warehouse'
    if [ ! $? -eq 0 ]; then
      $HADOOP_HOME/bin/hadoop fs -mkdir -p /tmp
      $HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse
      $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp
      $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse

      $HIVE_HOME/bin/schematool -dbType mysql -initSchema --verbose &
      #等待初始化运行结束，否则会报错FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
      #若出现此报错，需要进入hive的pod中，手动执行命令hive --service metastore &
      sleep 10
    fi

    $HIVE_HOME/bin/hiveserver2 &
    $HIVE_HOME/bin/hive --service metastore &

    cp $HIVE_HOME/conf/hive-env.sh.template $HIVE_HOME/conf/hive-env.sh && echo "export HADOOP_CLIENT_OPTS=\"-Xmx512m -XX:MaxPermSize=1024m \$HADOOP_CLIENT_OPTS\"" >> $HIVE_HOME/conf/hive-env.sh

    # keep running
    sleep infinity
  hive-site.xml: |-
    <?xml version="1.0" encoding="UTF-8" standalone="no"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
      <property>
        <name>hive.server2.enable.doAs</name>
        <value>false</value> 
      </property>
      <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>admin</value>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://mysql-service.infra:3306/metastore?createDatabaseIfNotExist=true&amp;useSSL=false</value>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
      </property>
      <property>
        <name>system:java.io.tmpdir</name>
        <value>/tmp</value>
      </property>
      <property>
        <name>system:user.name</name>
        <value>hive</value>
      </property>
      <property>
        <name>hive.server2.authentication</name>
        <value>NOSASL</value>
      </property>
      <!--设置HDFS地址-->
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-hadoop-hdfs-nn.default:9000</value>
      </property>
    </configuration>
  core-site.xml: |-
    <?xml version="1.0" encoding="UTF-8" standalone="no"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop-hadoop-hdfs-nn.default:9000</value>
        </property>
    </configuration>
  yarn-site.xml: |-
    <?xml version="1.0" encoding="UTF-8" standalone="no"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>

        <!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop-hadoop-yarn-rm-0.hadoop-hadoop-yarn-rm.default</value>
        </property>
    </configuration>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100

deployment及service等：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: hive
spec:
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: hive
  template:
    metadata:
      labels:
        app: hive
    spec:
      containers:
        - name: hive
          image: ccr.ccs.tencentyun.com/cube-studio/hadoop-hive:v3.3.2-3.1.3
          command: ["bash", "-c", "bash /root/bootstrap/bootstrap.sh"]
          ports:
            - containerPort: 10000
            - containerPort: 10002
            - containerPort: 9083
          env:
            - name: HADOOP_CONF_DIR
              value: /opt/hadoop/etc/hadoop
          volumeMounts:
            - name: hive-custom-config-volume
              mountPath: /root/bootstrap
          readinessProbe:
            initialDelaySeconds: 20
            periodSeconds: 5
            tcpSocket:
              port: 10000
      volumes:
        - name: hive-custom-config-volume
          configMap:
            name: hive-custom-config-cm
---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: hive
  name: hive-service
spec:
  ports:
    - port: 10000
      targetPort: 10000
      name: thrift
    - port: 10002
      targetPort: 10002
      name: webui
    - port: 9083
      targetPort: 9083
      name: metastore
  selector:
    app: hive
  type: NodePort

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59

两个奇怪的bug：

部署好之后，我们可以进pod查看一下hive的日志，像我碰到一个情况就是，hive能用，可以查数据库列表，表列表，但不能插入数据，看pod日志发现报错，重启pod时，再次初始化出现错误Error: Table ‘CTLGS‘ already exists (state=42S01,code=1050)，需要进入mysql，删除metastore这个库，再重启hive的pod进行初始化。如果再次进入hive时，不能执行命令，报错java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.Session，表示metastore没重启成功，需要进入hive的pod手动执行一下hive --service metastore &。

不能插入数据的问题，后来发现是没有配置hdfs的地址，在yaml里面加上这个配置就没问题了！必要的配置项一定不能漏掉！！不然就会出现本地能查到数据，但hdfs中查不到的情况，这样换一台机器就不能用了！

五、验证

登录ui界面，可以验证是否成功。
在这里插入图片描述

六、客户端使用hive

  1. 验证jdk，通过java -version验证已安装jdk，但没有设置JAVA_HOME，vi ~/.bashrc，设置一下JAVA_HOME，export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64,再source ~/.bashrc让其生效，再次验证，jdk版本只能是8，如果是别的版本，记得更换；jdk最好是用java8，如果版本不对，可以先卸载，再安装正确的版本，再设置环境变量。如果不想总修改环境变量，那么设置/etc/profile比设置~/.bashrc更好。
  2. 下载hive，跟服务端下载同一个版本：https://mirrors.aliyun.com/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
  3. 解压，tar -zxvf apache-hive-3.1.3-bin.tar.gz
  4. 编辑配置项：
cd apache-hive-3.1.3-bin/conf
vi hive-site.xml

  • 1
  • 2

把下面的配置项粘到hive-site.xml：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>  
  
  <property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/user/hive/warehouse</value>  
  </property>  
   
  <property>  
    <name>hive.metastore.local</name>  
    <value>false</value>  
  </property>  
  
  <property>  
    <name>hive.metastore.uris</name>  
    <value>thrift://hive-service.default:9083</value>  
  </property>  
  
</configuration>  

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  1. 配置hive的环境变量
vi /etc/profile

export HIVE_HOME=/mnt/admin/apache-hive-3.1.3-bin
export HADOOP_HOME=/mnt/admin/hadoop-3.3.6
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre
export HADOOP_CONF_DIR=/mnt/admin/hadoop-3.3.6/etc/hadoop
export PATH=$PATH::$HIVE_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin

source /etc/profile

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

环境变量写在/etc/profile更好，因为~/.bashrc是临时的，重启一下pod就复原了，但/etc/profile是全局的，避免一直要重复设置。

  1. 配置hadoop的yarn
    把/mnt/admin/hadoop-3.3.6/etc/hadoop/yarn-site.xml配置成以下这样：
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop-hadoop-yarn-rm-0.hadoop-hadoop-yarn-rm.default</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>hadoop-hadoop-yarn-rm-0.hadoop-hadoop-yarn-rm.default:8032</value>
    </property>
        <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hadoop-hadoop-yarn-rm-0.hadoop-hadoop-yarn-rm.default:8030</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>


  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23

操作完之后，执行hive，可以进入就算成功。
在这里插入图片描述
执行hive时可能出现一个错误：

Caused by: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion character (code 0x8
 at [row,col,system-id]: [3219,96,"file:/mnt/admin/apache-hive-3.1.3-bin/conf/hive-site.xml"]，

  • 1
  • 2

这是因为xml模板中有个特殊字符，找到对应位置，去掉即可;

测试语句示例：

CREATE  TABLE test(  
  name string,   
  num int)
PARTITIONED BY (`date` string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' stored as textfile;


insert into test partition (`date`='20240523') (name,num) values ('cdl',100);
insert into test partition (`date`='20240522') (name,num) values ('cdl',100);

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

看是否能正确建表，正确插入数据，正确查询，hdfs中也能正确显示。

参考地址

https://www.cnblogs.com/liugp/p/16747557.html#1%E6%9E%84%E5%BB%BA%E9%95%9C%E5%83%8F
https://blog.csdn.net/chenleiking/article/details/82492282

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/605086
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号