当前位置:   article > 正文

伪分布式hadoop上安装hive_hadoop伪分布式hive

hadoop伪分布式hive

建立hadoop镜像

直接拉取镜像

docker pull sequenceiq/hadoop-docker

报错,docker版本问题,没找到v1的安装方法,放弃。

  1. [root@iZbp16wtaqqczu3i61y0amZ ~]# docker pull sequenceiq/hadoop-docker
  2. Using default tag: latest
  3. latest: Pulling from sequenceiq/hadoop-docker
  4. [DEPRECATION NOTICE] Docker Image Format v1 and Docker Image manifest version 2, schema 1 support is disabled by default and will be removed in an upcoming release. Suggest the author of docker.io/sequenceiq/hadoop-docker:latest to upgrade the image to the OCI Format or Docker Image manifest v2, schema 2. More information at https://docs.docker.com/go/deprecated-image-specs/

打包hadoop.tar加载镜像

打包之前pull成功了的上述镜像并加载,具体文件见评论区链接,方法参考【问题解决】如何将一个服务器的docker迁移到另一个服务器_docker转移-CSDN博客

创建hadoop容器端口映射如下(找了一些常用的)

安装hive

在上述hadoop容器安装hive。

官网下载hive-2.3.9-bin.tar.gz安装包到宿主机(因为hadoop容器里无法wget),通过docker cp 宿主机文件 容器id:容器内地址  传到服务器上。

安装参考【hadoop——Hive的安装和配置】保姆式教学_hive和hadoop必须安装到一个目录下吗-CSDN博客

安装mysql

安装了三个mysql。①一个之前装好xampp的镜像,mysql出现问题导致hive没有连接成功,挣扎了一下放弃解决。②在宿主机安装mysql,宿主机是实验室服务器,每次登录mysql都需要用sudo,创建了新用户不需要sudo,但是连接也失败。

③成功,参考https://blog.csdn.net/m0_49683806/article/details/124388844

hive-site.xml的配置:hostname -i查看mysql容器的ip

 -h 172.17.0.4 -u root -p 123456

还需要解决的问题:每次重启docker后ip可能会变,就需要修改hive-site.xml

对于表insert和select遇到报错:

修改hive-site.xml

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/喵喵爱编程/article/detail/785738
推荐阅读
相关标签
  

闽ICP备14008679号