记录windows本地安装Hive开发环境_怎样确认hive在windows下成功安装

环境版本：SPARK-3.4.1，HADOOP-3.2.4，HIVE-3.1.3，mysql-jar-5.1.49，MYSQL8，JDK1.8

一、安装JDK1.8

参考spark安装：记录本机（windows11）搭建spark过程 link

二、安装HADOOP

下载HADOOP压缩包，解压后，配置环境变量，在系统环境变量中新增：HADOOP_HOME=C:\hadoop-3.2.4。Path新增%HADOOP_HOME%bin，由于hadoop是Linux版本，此时还需要winutils.exe和hadoop.dll放入bin目录下。最后可用hadoop version查看是否安装成功。按照如下配置：

1. 新建文件夹 ：在hadoop目录下新建data目录，在下面新增dfs目录，在在下面新增namenode与datanode目录。
2. 修改core_site.xml（配置文件目录为C:\hadoop\etc\hadoop）：

 <configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>roperty> </configuration>
1
2
3
4
5
6

3. 修改hdfs_site.xml文件 ：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/ASoftware/Hadoop/hadoop-2.7.7/data/dfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/ASoftware/Hadoop/hadoop-2.7.7/data/dfs/datanode</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14

4. 修改mapred-site.xml.template文件，修改完之后更改为mapred-site.xml ：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
1
2
3
4
5
6

5. 修改yarn_site.xml文件 ：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10

6. 修改hadoop-env.cmd文件（注意如果是绝对路径，JAVA_HOME配置的环境变量的目录中含不要含有空格。可能会导致找不到java路径）：

@rem set JAVA_HOME=%JAVA_HOME%
@如果设置了JAVA_HOME，可用：set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME="C:\Program Files\Java\jdk1.8.0_201"
1
2
3

7. 格式化HDFS，打开Hadoop：
   （1）打开cmd，输入hdfs namenode -format进行初始化。
   （2）切换至C:\hadoopsbin目录下面，运行start-all.cmd，会打开4个窗口即为成功。输入命令：jps，查看进行启动是否成功。
   （3）打开网页http://localhost:9870/查看hadoop界面，确认成功。

三、安装hive

1. 下载压缩包，解压，配置环境变量，参考hadoop。
2. 修改配置文件名称
   将配置文件目录D:\hive\conf\有4个默认的配置文件模板拷贝成新的文件名：
   hive-default.xml.template -----> hive-site.xml
   hive-env.sh.template -----> hive-env.sh
   hive-exec-log4j.properties.template -----> hive-exec-log4j2.properties
   hive-log4j.properties.template -----> hive-log4j2.properties
3. 创建新增目录
   D:\hive\my_hive
   D:\hive\my_hive\operation_logs_dir
   D:\hive\my_hive\querylog_dir
   D:\hive\my_hive\resources_dir
   D:\hive\my_hive\scratch_dir
4. 将mysql-connector-java-5.1.49-bin.jar复制到D:\hive\lib目录下。
5. 修改hive-env.sh文件，新增内容如下

# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=D:\\hadoop

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=D:\hive\conf

# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=D:\hive\lib
1
2
3
4
5
6
7
8

6. 修改hive-site.xml文件
   （1）更改文件目录

  <property>
    <name>hive.exec.scratchdir</name>
    <!-- <value>/tmp/hive</value> -->
	<value>/D:/hive-3.1.3-bin/my_hive/scratch_dir/</value>
    <description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt; is created, with ${hive.scratch.dir.permission}.</description>
  </property>

  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/D:/hive-3.1.3-bin/my_hive/resources_dir/${hive.session.id}_resources</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>

  <property>
    <name>hive.querylog.location</name>
    <value>/D:/hive-3.1.3-bin/my_hive/querylog_dir/${system:user.name}</value>
    <description>Location of Hive run time structured log file</description>
  </property>

  <property>
    <name>hive.server2.logging.operation.log.location</name>
    <value>/D:/hive-3.1.3-bin/my_hive/operation_logs_dir/${system:user.name}/operation_logs</value>
    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
  </property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

（2）修改mysql相关配置

  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>

  <property>
    <name>hive.druid.metadata.db.type</name>
    <value>mysql</value>
    <description>
      Expects one of the pattern in [mysql, postgresql, derby].
      Type of the metadata database.
    </description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>password to use against metastore database</description>
  </property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore. To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL. For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.

7. 在MySQL中创建数据库hive
8. 启动hive，结果测试
   启动hive，首先需要启动hadoop与hive metastore两个服务。运行目录切换至D:\\hadoop\sbin中的start-dfs.cmd，会打开两个窗口服务。在目录D:\ASoftware\Hadoop\hadoop-2.7.7\sbin下输入hive --service metastore,如果在mysql中hive表中出现下图中许多表的情况，则说明开启成功
   注：
   直接格式化
   hive --service schematool -initSchema -dbType mysql
   直接启动hive
   hive Starting Hive Metastore Server