HIVE 的安装和使用_安装解压hive配置环境变量

Hive的安装和使用     我们的版本约定：   

 JAVA_HOME=/usr/local/soft/jdk1.8.0_171     

HADOOP_HOME=/usr/local/soft/hadoop-2.7.6     

HIVE_HOME=/usr/local/soft/hive-1.2.1   

  一、离线安装MySQL（已经安装过MySQL可以跳过此步骤）

1、查看mysql的依赖   

 rpm -qa | grep mysql

2、删除mysql的依赖     rpm -e --nodeps `rpm -qa | grep mysql`或者     rpm -e --nodeps `rpm -qa | grep MySQL`

3、离线安装mysql     安装mysql-server：         rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm 安装mysql-client：         rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm

4、启动mysql服务（一般安装MySQL-server时，会自动启动MySQL，故可跳过第四步，如果启动了，再执行如下命令，则会报错！！！）     service mysql start

5、加入到开机启动项     chkconfig mysql on

6、初始化配置mysql服务（第一次直接回车，后面跟着提示设置密码，自己设置密码） # 通常情况下可以直接执行mysql_secure_installation命令（该命令已在环境变量中） # 若执行mysql_secure_installation命令时提示找不到，则查找mysql初始化脚本位置 whereis mysql_secure_installation # 再根据找到的路径执行，通常该命令如下： /usr/bin/mysql_secure_installation                          如果在/usr/bin/mysql_secure_installation 一直是下面报错后 解决办法： ps aux | grep mysql 然后KILLmysql相关全部进程 Pid是进程号 kill -9 pid1 pid2 … 比如 kill -9 8301 8302 然后再从第4步重新操作。

7、访问mysql服务并修改权限 7.1 登录mysql：（密码请指定mysql_secure_installation初始化脚本执行时自己设定的密码，这里是123456，注意-p后面没有空格）     mysql -uroot -p123456 7.2 切换数据库： use mysql;

7.3  查看用户权限表： select user,host from user;

7.4 将root用户允许登录的host设为’%’（表示在任意IP地址都可以使用root用户登录mysql，否则只能在localhost登录） update user set host = '%' where user = 'root'; （提示报错不用管，忽略）

7.5 刷新权限，让配置生效： flush privileges

二、修改MySQL编码

1、修改mysql编码为UTF-8       

1.1 编辑配置文件     vim /etc/my.cnf     

 1.2 加入以下内容： [client] default-character-set = utf8mb4 [mysqld] character-set-server = utf8mb4 collation-server = utf8mb4_general_ci     

1.3 重启mysql         systemctl restart mysqld     

1.4 登录mysql         mysql -uroot -p123456     

1.5 查看mysql当前字符集         show variables like '%char%';          

三、安装Hive 前提是：

mysql和hadoop必须已经成功启动了 在MySQL中创建hive元数据库 create database hive character set "latin1";

1、解压hive的安装包：     tar -zxvf apache-hive-1.2.1-bin.tar.gz

修改目录名称： mv apache-hive-1.2.1-bin hive-1.2.1

2、进入hive-1.2.1/conf目录，复制备份文件并重命名     cp hive-env.sh.template hive-env.sh     cp hive-default.xml.template hive-site.xml

3、配置hive的配置文件（hive的配置文件比较大，在linux中查找某项配置比较难，可以先将hive-site.xml文件复制到windows用文本编辑打开，然后ctrl+f查关键字修改，修改之后再放回到hive 的conf目录）

3.1修改hive-env.sh 加入三行内容（大家根据自己的目录和实际情况来添加） HADOOP_HOME=/usr/local/soft/hadoop-2.7.6 JAVA_HOME=/usr/local/soft/jdk1.8.0_171 HIVE_HOME=/usr/local/soft/hive-1.2.1

3.2修改hive-site.xml                 

 <property>                     <name>javax.jdo.option.ConnectionURL</name>                     <value>jdbc:mysql://master:3306/hive?useSSL=false</value>                 </property>                 <property>                     <name>javax.jdo.option.ConnectionDriverName</name>                     <value>com.mysql.jdbc.Driver</value>                 </property>                 <property>                     <name>javax.jdo.option.ConnectionUserName</name>                     <value>root</value>                 </property>                 <property>                     <name>javax.jdo.option.ConnectionPassword</name>                     <value>123456</value>                 </property>                 <property>                     <name>hive.querylog.location</name>                     <value>/usr/local/soft/hive-1.2.1/tmp</value>                 </property>                 <property>                     <name>hive.exec.local.scratchdir</name>                     <value>/usr/local/soft/hive-1.2.1/tmp</value>                 </property>                 <property>                     <name>hive.downloaded.resources.dir</name>                     <value>/usr/local/soft/hive-1.2.1/tmp</value>                 </property> 3.4拷贝mysql驱动到$HIVE_HOME/lib目录下              cp /usr/local/soft/mysql-connector-java-5.1.49.jar ../lib/ 3.5将hive的jline-2.12.jar拷贝到hadoop对应目录下，hive的 jline-2.12.jar 位置在 ： /usr/local/soft/hive-1.2.1/lib/jline-2.12.jar 将hive的jar拷过去hadoop下： cp /usr/local/soft/hive-1.2.1/lib/jline-2.12.jar /usr/local/soft/hadoop-2.7.6/share/hadoop/yarn/lib/ 3.6配置环境变量，加上HIVE_HOME     修改/etc/profile     vim /etc/profile     重新加载环境变量     source /etc/profile 3.7启动hive：     hive 3.8 修改mysql元数据库hive，让其hive支持utf-8编码以支持中文 登录mysql： mysql -u root -p123456 切换到hive数据库: use hive; 1).修改字段注释字符集 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;   2).修改表注释字符集 alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;   3).修改分区表参数，以支持分区键能够用中文表示 alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;   4).修改索引注解(可选) alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; 四、测试hive 1、启动hive 2、在hive中创建test1数据库     create database test1; 3、切换test1数据库：     use test1;

4、创建students表： create table students(     id bigint comment '学生id',     name string comment '学生姓名',     age int comment '学生年龄',     gender string comment '学生性别',     clazz string comment '学生班级' ) comment '学生信息表' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

5、创建score表： create table score(     id bigint comment '学生id',     score_id bigint  comment '科目id',     score int comment '学生成绩' ) comment '学生成绩表'   ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';  

6、查看表信息： desc students; desc score;