devbox
小丑西瓜9
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

在Windows上安装Hadoop和Hive_start-all.cmd

作者：小丑西瓜9 | 2024-04-10 16:43:17

赞

踩

start-all.cmd

在Windows上安装Hadoop和Hive


　　最近需要使用大数据平台，装了1天的hadoop和hive，终于装好了，不得不说网上的攻略千奇百怪，需要结合各种攻略才能完成安装（悲催），因此写下这边文章来汇总下如何在windows系统中安装hadoop和hive，希望对各位有帮助。

准备资源

1.JDK8：Hadoop和Hive都是依赖于JAVA开发出来的，JDK的安装是必不可少的，需要注意的是（重点）高版本的JDK可能无法匹配Hadoop，会报出很多错误，请务必使用JDK8。
　　（我用了JDK15就报了一堆错误…）如果电脑本身就有JDK，可以参考JDK版本切换。
2.MySQL 8.0（422.4M）
3.Hadoop3.1.3.tar.gz版本
4.winutils
5.Hive3.1.2-bin.tar.gz版本
6.Hive:1.0.src.tar.gz 源码版本
7.mysql-connector ZIP Archive

JDK安装

这个网上搜就有很多了，傻瓜式安装之后，在系统环境变量中的PATH添加JDK下的bin，安装成功后如在cmd输入

java -version

  • 1

在这里插入图片描述

MySQL安装

MYSQL 8.0不同版本的安装
参考这篇文章，安装好后可通过MySQL Workbench打开数据库
在这里插入图片描述

Hadoop的安装

Hadoop安装
这篇文章已经写得很详细了，这里提几点
　　１.一定要安装JDK8!!!
　　 2.yarn-site.xml按如下配置，避免后期使用hive出现各种bug

<configuration>

<!-- Site specific YARN configuration properties -->

	<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
	<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>
	
	<property>
        <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>200</value>
	</property>

</configuration>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27

3.输入start-all.cmd后，弹出下图4个终端（注意终端的名字）算安装完成
　 　在这里插入图片描述
　　３.在Hadoop3.x版本下，可以通过localhost:8088和localhost:9870访问两个地址
　　在这里插入图片描述
在这里插入图片描述
至此Hadoop就已经安装完成了

Hive的安装

Hive的安装网上有不同的版本，我在这里整合一下流程。
主要参考这篇文章
　　第一步：下载Hive3.1.2-bin.tar.gz版本和Hive:1.0.src.tar.gz 源码版本
　　第二步：解压Hive3.1.2-bin.tar.gz版本
　　在这里插入图片描述

第三步：配置Hive的全局变量
　　在这里插入图片描述
        第四步：复制apache-hive-3.1.2-bin\conf下的四个文件，重命名
hive-default.xml.template -----> hive-site.xml
hive-env.sh.template -----> hive-env.sh
hive-exec-log4j.properties.template -----> hive-exec-log4j2.properties
hive-log4j.properties.template -----> hive-log4j2.properties
在这里插入图片描述
        第五步：在apache-hive-3.1.2-bin创建my_hive文件夹，把mysql-connector放到lib下面
在这里插入图片描述
在这里插入图片描述

        第六步：修改配置文件（hive-site.xml 和hive-env.sh）

编辑E:\Hive\apache-hive-3.1.2-bin\conf\hive-site.xml 文件

<!--hive的临时数据目录，指定的位置在hdfs上的目录-->
	<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/user/hive/warehouse</value>
		<description>location of default database for the warehouse</description>
	</property>
 
 
 
<!--hive的临时数据目录，指定的位置在hdfs上的目录-->
	<property>
		<name>hive.exec.scratchdir</name>
		<value>/tmp/hive</value>
		<description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt; is created, with ${hive.scratch.dir.permission}.</description>
	</property>
 
 
 
<!-- scratchdir 本地目录 -->
	<property>
		<name>hive.exec.local.scratchdir</name>
		<value>E:/Hive/apache-hive-3.1.2-bin/my_hive/scratch_dir</value>
		<description>Local scratch space for Hive jobs</description>
	</property>
 
<!-- resources_dir 本地目录 -->
	<property>
		<name>hive.downloaded.resources.dir</name>
		<value>E:/Hive/apache-hive-3.1.2-bin/my_hive/resources_dir/${hive.session.id}_resources</value>
		<description>Temporary local directory for added resources in the remote file system.</description>
	</property>
 
<!-- querylog 本地目录 -->
	<property>
		<name>hive.querylog.location</name>
		<value>E:/Hive/apache-hive-3.1.2-bin/my_hive/querylog_dir</value>
		<description>Location of Hive run time structured log file</description>
	</property>
 
<!-- operation_logs 本地目录 -->
	<property>
		<name>hive.server2.logging.operation.log.location</name>
		<value>E:/Hive/apache-hive-3.1.2-bin/my_hive/operation_logs_dir</value>
		<description>Top level directory where operation logs are stored if logging functionality is enabled</description>
	</property>
 
<!-- 数据库连接地址配置 写入本地的ip-->
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://192.168.x.xxx:3306/hive?createDatabaseIfNotExist=true&amp;serverTimezone=UTC&amp;useSSL=false&amp;characterEncoding=UTF-8&amp;allowPublicKeyRetrieval=true</value>
		<description>
		JDBC connect string for a JDBC metastore.
		</description>
	</property>
 
<!-- 数据库驱动配置 -->
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.cj.jdbc.Driver</value>  ##这是mysql8.0的驱动，mysql5的驱动为com.mysql.jdbc.Driver
		<description>Driver class name for a JDBC metastore</description>
	</property>
 
<!-- 数据库用户名 这是你创建的MySQL账户-->
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
		<description>Username to use against metastore database</description>
	</property>
 
<!-- 数据库访问密码 这是你的MySQL密码，别输入错了-->
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>xxxx</value>
		<description>password to use against metastore database</description>
	</property>
 
<!-- 解决 Caused by: MetaException(message:Version information not found in metastore. ) -->
	<property>
		<name>hive.metastore.schema.verification</name>
		<value>false</value>
		<description>
		Enforce metastore schema version consistency.
		True: Verify that version information stored in is compatible with one from Hive jars. Also disable automatic
		schema migration attempt. Users are required to manually migrate schema after Hive upgrade which ensures
		proper metastore schema migration. (Default)
		False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.
		</description>
	</property>
 
<!-- 自动创建全部 -->
<!-- hive Required table missing : "DBS" in Catalog""Schema" 错误 -->
	<property>
		<name>datanucleus.schema.autoCreateAll</name>
		<value>true</value>
		<description>Auto creates necessary schema on a startup if one doesn't exist. Set this to false, after creating it once.To enable auto create also set hive.metastore.schema.verification=false. Auto creation is not recommended for production use cases, run schematool command instead.</description>
	</property>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96

这里使用远程ip访问hdfs可能会引起java.sql.SQLException: null, message from server: "Host ‘xxx.xxx.xxx.xxx’ is not allowed to connect错误，按链接来解决就好了。
编辑（E:\Hive\apache-hive-3.1.2-bin\conf\hive-env.sh 文件）

export HADOOP_HOME=E:\Hadoop\hadoop-3.1.3
 
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=E:\Hive\apache-hive-3.1.2-bin\conf
 
# Folder containing extra libraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=E:\Hive\apache-hive-3.1.2-bin\lib

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

        第七步：启动Hadoop，运行start-all.cmd文件
在这里插入图片描述

        第八步：在hadoop上创建hdfs目录（记得要先启动hadoop）

hadoop fs -mkdir /tmp
hadoop fs -chmod g+w /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /user/hive/warehouse

  • 1
  • 2
  • 3
  • 4

        第九步：在MySQL Workbench下创建hive的数据库（注意为latin1）
在这里插入图片描述

        第十步：启动初始化，在powershell中输入

hive --service schematool -dbType mysql -initSchema

  • 1

运行完后可以看到hive数据库下多了很多的table
在这里插入图片描述
        第十一步：启动metastore

hive --service metastore

  • 1

这里可能会报一些错误，Hive throws: WstxParsingException: Illegal character entity: expansion character (code 0x8)，解决方案就是找到报错行改一下hive-site.xml注释就好了

        第十二步：启动hive，在cmd中输入hive
在这里插入图片描述
看到hive已经成功运行了，至此Hive已经成功安装了。

测试Hive

在hive中创建一个数据库

hive> create database hive_test;

  • 1

在这里插入图片描述
创建的时候会在终端出现一堆数据，下面的创建就略过终端步骤
输入localhost:9870看看服务器端的结果
在这里插入图片描述
　　在服务器端可以看到已成功创建，但是这一堆日志看起来不太美观，因此把这些无用的日志屏蔽掉，具体的做法如下：
　　打开Hadoop下的log4j.properties文件，修改log4j.threshold=ALL 为 log4j.threshold=ERROR，即只打印错误信息。
在这里插入图片描述
在这里插入图片描述

接下来在数据库端可以查看一下吧
在这里插入图片描述
可以看到hive_test库已经成功创建了
在hive中创建一个表格

hive> use hive_test;
hive> create table hive_table(id int, name string);

  • 1
  • 2

在这里插入图片描述
在这里插入图片描述
同样看到创建好了，至此在Windows上安装Hadoop和Hive终于大功告成了。
经过测试，在hive上使用drop table可能会出现卡死的情况，需要将character_set_server和character_set_database改成latin1，具体参考解决drop table卡死方案

如果出现InvalidResourceRequestException，参考
运行hadoop任务报错org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/399898
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号