hadoop伪分布式上搭建hive_hadoop伪分布式hive

搭建hadoop一台，hive使用的是MySQL
首先搭建一台hadoop
参照以前的文章
下面是hive的流程
1， 复制数据包hive和mysql连接jar包到Linux中
2， 安装hive到opt下
tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/

3， 重新命名hive程序

4， 把hive添加到环境变量
vim /etc/profile

Source 一下/etc/profile

测试一下hive命令是可以使用tab键按出来
5，cd 到hive的lib目录，把连接MySQL的jar包放到该目录

6， jline的包有冲突需要把jline的包复制一份
cd /opt/hive/lib
cp jline-2.12.jar /opt/hadoop-2.6.5/share/hadoop/yarn/lib/
rm -rf /opt/hadoop-2.6.5/share/hadoop/yarn/lib/jline-0.9.94.jar
7， 配置hadoop配置文件，如果以前做了，这一步不用做
Hadoop三个环境配置文件/opt/hadoop-2.6.5/etc/hadoop/中
yarn-env.sh 、 mapred-env.sh 和hadoop-env.sh
写入export JAVA_HOME=/usr/java/jdk7
在hive的配置文件/opt/hive/conf/hive-env.sh中写入
export JAVA_HOME=/usr/java/jdk7
如果没有该文件那么就复制hive-env.sh.template 文件为hive-en.sh
上面一共是四个环境文件都需要写入JAVA_HOME

首先cp mapred-site.xml.template mapred-site.xml
在mapred-site.xml中使用yarn资源调度
写入一下信息


<property>
<name>mapreduce.framework.name</name>
        <value>yarn</value>
	  </property>


1
2
3
4
5
6
7
8
9
10
11

在yarn-site.xml中写入
<property>
      <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
1
2
3
4
5

8， hive配置文件
cd /opt/hive/conf/
cp hive-default.xml.template hive-site.xml
vim hive-site.xml文件在命令行模式中删除到最后一行
:.,$-1d
然后写入配置
下面的第一个参数是table默认存放的位置

<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive_remote/warehouse</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>root</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>123456</value>  
</property>  
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

9， 安装MySQL
安装mysql :
yum install mysql-server -y
然后启动mysql:
service mysqld start
修改mysql默认密码:
mysqladmin -uroot password ‘123456’
进入MySQL修改mysql权限：
mysql -uroot -p123456
进入mysql在mysql的命令行中写入
首先使用mysql数据库
use mysql;
在任何机器上都可以使用root用户，密码为123456

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
1

然后刷新权限：

flush privileges;
1

删除多余会对权限造成影响的数据
刷新权限
10， 启动hadoop start-all.sh ，可以使用jps查看一下集群是否准备就绪，
namenode/datanode/nodemanager/resourcemanager/secondarynamenode都需要启动起来
11， 启动hive使用hive命令
tips：如果mysql没有修改过密码是不行的，MySQL修改密码在Linux的命令行中输入 mysqladmin -uroot password 123456 把密码改为123456