Hive安装与配置与mysql的安装_hive安装mysql

一、准备资源

在Hadoop-2.7.3环境上部署Hive数据仓库，安装Hive需要apache-hive-2.1.1-bin.tar.gz软件包，在相关目录下解压软件包。

tar -zxvf [包名]
1

二、Hive参数配置

2.1 修改/etc/hosts文件

[root@master ~]# vi /etc/hosts
1

添加以下内容：

172.30.0.10 master
172.30.0.11 slave1
172.30.0.12 slave2
1
2
3

2.2 修改/root/.bash_profile文件

[root@master ~]# vi /root/.bash_profile
1

添加以下内容：

exprt HIVE_HOME=/opt/apache-hive-2.1.1-bin
export PATH=$PATH:$HIVE_HOME/bin
1
2

注意等号右边是安装hive的路径

2.3修改hive的配置目录下的文件名

[root@master ~]# cd /opt/apache-hive-2.1.1-bin/conf/
[root@master conf]# ls
beeline-log4j2.properties.template    ivysettings.xml
hive-default.xml.template             llap-cli-log4j2.properties.template
hive-env.sh.template                  llap-daemon-log4j2.properties.template
hive-exec-log4j2.properties.template  parquet-logging.properties
hive-log4j2.properties.template
1
2
3
4
5
6
7

将文件名中的.template删除
格式：mv [原来的名字] [修改后的名字]

[root@master conf]# mv hive-env.sh.template hive-env.sh
1

2.4修改hive-env.sh，添加以下内容

vim /opt/apache-hive-2.1.1-bin/conf/hive-env.sh
1

#指定Hive配置文件的路径
export HIVE_CONF_DIR=/opt/apache-hive-2.1.1-bin/conf/
#指定Hive依赖的额外jar包的路径
export HIVE_AUX_JARS_PATH=/opt/apache-hive-2.1.1-bin/lib/
1
2
3
4

• 子节点也需要配置。
  将主节点的配置好的复制到子节点上。
  格式：scp [参数] [本地目录] [目标节点] [目标节点目录]

scp -r /opt/apache-hive-2.1.1-bin root@slave1:/opt
1

2.5 配置目录下新建配置文件hive-site.xml，并添加以下内容:创建

hive-site.xml

touch hive-site.xml
1

在主节点添加以下内容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore.</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>Username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>password to use against metastore database</description>
  </property>
  <property>
    <name>hive.querylog.location</name>
    <value>/opt/hive/logs</value>
    <description>Location of Hive run time structured log file</description>
  </property>
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://master:9083</value>
    <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
  </property>
  <property>
    <name>hive.server2.webui.host</name>
    <value>0.0.0.0</value>
  </property>
  <property>
    <name>hive.server2.webui.port</name>
    <value>10002</value>
  </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

在子节点添加以下内容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
  </property>
  <property>
    <name>hive.querylog.location</name>
    <value>/opt/apache-hive-2.1.1-bin/logs</value>
    <description>Location of Hive run time structured log file</description>
  </property>
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://master:9083</value>
    <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
  </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

三、MySQL的安装

3.1 检查是否含有mysql

yum list installed | grep mysql
1

如果有先检查是否可用，否则卸载掉。
格式：yum -y remove [SQL名]

3.2 通过命令下载mysql包

wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm
1

3.3 在本地安装mysql包

 yum localinstall mysql57-community-release-el7-8.noarch.rpm
1

3.4安装mysql

yum install mysql-community-server
1

3.5 启动服务

#/启动
service mysqld start
#查看MySQL的启动状态
systemctl status mysqld
1
2
3
4

3.6 修改原始密码

#查看musql随机密码
grep 'temporary password' /var/log/mysqld.log
1
2

3.7登录数据库

#登陆数据库      
mysql -u root -p	
1
2

出现“mysql>”字样表示登陆成功
1

更改数据库设置

mysql> set global validate_password_policy=0;     #关闭密码复杂度策略
mysql>set global validate_password_length=1;		#设置密码长度下限
1
2

#需改root初始密码。注意：此处的root并非主机登录的root
mysql>ALTER USER 'root'@'localhost' IDENTIFIED BY '新密码';
#创建hive用户供hive使用	
mysql>create user 'hive'@'%' identified by '123456';   
#此处user的名字需要跟hive-site.xml文件配置的一致
mysql>select user,host from mysql.user where user='hive';
mysql>GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY '123456' WITH 	GRANT OPTION;
#刷新权限
mysql>flush privileges
1
2
3
4
5
6
7
8
9

四、hive运行

4.1 启动hadoop

4.2 启动MetaStore服务

4.2.1 初始化元数据库：

schematool -dbType mysql -initSchema 
1

注意：此处可能会遇到问题：Failed to get schema version。
此时需要查看下配置是否出错，在确认无误下。可能是JDBC版本与mysql版本不匹配了。可查看此文章：https://editor.csdn.net/md/?articleId=136310292。

4.2.2 启动MetaStore服务：

hive --service metastore &
1

4.3 启动hiveserver2服务

 hiveserver2 &
1