hive 的搭建_建立hive

hive 的搭建

1.下载 hive 安装包

一：下载hive——地址：http://mirror.bit.edu.cn/apache/hive/
)

可在这下载自己想要的版本

不过，我用的是这个版本
2.将hive文件上传到hadoop集群中，并解压**

 *2.1可先进去自己平时放安装包的目录下*
   cd /home/software
   rz   (首先可用rz命令进行上传hive文件，若rz没有，用 yum install  lrzsz  进行下载)
   tar -zxfv hive-0.9.0.tar.gz  #解压命令
   mv hive-0.9.0 hive            #改名
1
2
3
4
5

3.配置环境变量，编辑 /etc/profile 文件
vim /etc/profile (vim是要下载的，用 yum install vim 进行下载，用 vi 也可以）

  增加:
  #hive configuration
  export	HIVE_HOME=/home/software/hive   （中间的空格是用tab键）
  export	PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin
1
2
3
4

保存退出
生效 /etc/profile 文件

source /etc/profile
hive -version
1
2

有版本出现就代表成功

4.修改 hive 和hadoop的配置文件
4.1 进入hive配置文件目录下

cd /home/software/hive/conf
mv hive-env.sh.template hive-env.sh
mv hive-default.xml.template hive-site.xml
1
2
3

4.2 修改hadoop的hadoop-env.sh（否则启动hive汇报找不到类的错误）

  cd /home/software/hadoop/etc/hadoop/
  vim hadoop-env.sh
  修改：
  export  HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin
1
2
3
4

4.3修改 hive-config.sh 文件

cd /home/software/hive/bin/
vim hive-config.sh
增加下列3行：
export  JAVA_HOME=/home/software/jdk
export  HIVE_HOME=/home/software/hive
export  HADOOP_HOME=/home/software/hadoop
1
2
3
4
5
6

4.4 修改 hive-site.xml 文件

  cd ..
  cd conf/
  vim hive-site.xml
  修改：
  <value>#里的路径是你存放数据库的文件（个人理解）</value>
1
2
3
4
5

记得删掉里面的system,否则后面启动hive后找不到数据库

5.配置 mysql的metastare

5.1 安装mysql
上传mysql-connector-java-5.1.10.jar 到$HIVE_HOME/lib下
链接: https://pan.baidu.com/s/1mtUm8_kKGzoPSeC60v5S4g
提取码: ydfe
5.2 在mysql数据库中创建数据库hive用来存储metastore数据，同时创建能够进入hive的用户

 mysql -uroot -padmin
 mysql> create database hive;
 mysql> grant all on hive. *to root@'%' identified by 'admin';
 mysql> flush privileges;
 mysql>set global binlog_format='MIXED';
1
2
3
4
5

5.3 修改 hive-site.xml 文件

   先从mysql 退出来
   mysql>exit
   cd /home/software/hive/conf/
   vim hive-site.xml
   在对应的位置增加下列
    <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://root:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
    		 <name>javax.jdo.option.ConnectionDriverName</name>
             <value>com.mysql.jdbc.Driver</value>
    </property>
   <property>
             <name>javax.jdo.option.ConnectionUserName</name>
             <value>root</value>
   </property>
   <property>
             <name>javax.jdo.option.ConnectionPassword</name>
             <value>admin</value>             #admin要改成你的mysql的密码
   </property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

6. 运行hive命令即可启动hive

   hive

附录1：如果报错Terminal initialization failed; falling back tounsupported

解决方法：
将hive里的jline-2.12.jar 文件替换hadood里的 jline-0.09.jar 文件

 cd /home/software/hive/lib/
 ls                            (可先查看是否有这个jar包）
 ls    /home/software/hadoop/share/hadoop/yarn/lib/    (可先查看hadoop 的这个jar包在吗）
 cp jline-2.12.jar /home/software/hadoop/share/hadoop/yarn/lib/  （ 复制jar包）
 cd  /home/software/hadoop/share/hadoop/yarn/lib/ 
 rm -fr jline-0.09.jar        
1
2
3
4
5
6

附录2：如果执行这个命令：mysql> grant all on hive.*to root@’%'identified by 'root ';
报错：ERROR 1819 (HY000): Your password does not satisfy the current policyrequirements
解决方法：

 mysql>set global validate_password_length=6;
 mysql>set global validate_password _policy=' LOW' ;
1
2