当前位置:   article > 正文

Hive的安装和配置详解_先装hadoop还是hive

先装hadoop还是hive

Hive的安装和配置详解

转自:http://hi.baidu.com/loveq369/item/55a9aba1c3b1effe15329b85

一直使用别人装好的Hive,想自己安装个Hive,在网上找了很多配置文档,都写的太简单了,于是自己摸索了下,记录在这里。

1. 安装Hive之前必须先安装好Hadoop,单机的或者集群都可以。

  因为Hive是基于hadoop的,它是将用户编写的类SQL语句转化为可以在hadoop上执行的mapreduce程序,要先保证hadoop可以正常使用。

2. 到apache的网站下载Hive的压缩包,http://hive.apache.org/releases.html

 我下载的是 hive-0.7.0-bin.tar.gz , 解压:  

?

tar zxf hive-0.7.0-bin.tar.gz   

3. 在.bashrc文件中配置Hive和Hadoop的路径

?

cat ~/.bashrc

export HADOOP_HOME=/home/steven/hadoop

export HIVE_HOME=/home/steven/hive

export HIVE_CONF_DIR=$HIVE_HOME/conf

export HIVE_LIB=$HIVE_HOME/lib

export CLASSPATH=$CLASSPATH:$HIVE_LIB

export PATH=$HIVE_HOME/bin/:$PATH

4. 在$HIVE_HOME/conf目录下,新建一个hive-site.xml,配置Hive元数据的存储方式,默认是采用一个轻量级的内存数据库derby。

  采用derby数据库的hive-site.xml文件如下:

?

<configuration>

<property>

  <name>hive.metastore.local</name>

  <value>true</value>

  <description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionURL</name>

  <value>jdbc:derby://localhost:1527/metastore_db;create=true</value>

  <description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionDriverName</name>

  <value>org.apache.derby.jdbc.ClientDriver</value>

  <description>Driver class name for a JDBC metastore</description>

</property>

</configuration>

  如果在Hive执行的时候,遇到“ERROR exec.DDLTask: FAILED: Error in metadata: java.lang.IllegalArgumentException: URI:  does not have a scheme”这种错误就可能是$HIVE_HOME,$HIVE_CONF_DIR,$HIVE_LIB配置不对,导致hive找不到元数据的配置文件或者找不到元数据的数据库导致的。

  现在我们执行$HIVE_HOME/bin/hive后showtables命令,会提示“java.sql.SQLNonTransientConnectionException: java.net.ConnectException : Error connecting to server localhost on port 1527 with message Connection refused”。这是因为我们的derby数据库没有安装,服务没有启动,1527是derby的默认端口。

5. 安装derby数据库

  Hive默认是采用derby数据库来存放元数据信息,可以发现在$HIVE_HOME/lib下有derby.jar和derbyclient.jar。

    从 http://db.apache.org/derby/releases/release-10.7.1.1.html 下载 db-derby-10.7.1.1-bin.tar.gz 。

    解压后,在~/.bashrc中配置环境变量:

?

export DERBY_HOME=/home/steven/derby

  启动derby数据库服务:

?

cd $DERBY_HOME/bin

./startNetworkServer &

6. 现在可以运行hive了。

 我们可以创建一个表试试。

?

[steven@search001 ~]$cd $HIVE_HOME

[steven@search001 hive]$./bin/hive

Hive history file=/tmp/steven/hive_job_log_steven_201107151707_1593375167.txt

hive> show tables;

OK

Time taken: 2.236 seconds

hive> create table auction(nid INT, price INT)

    > row format delimited

    > fields terminated by ','

    > stored as textfile;

OK

Time taken: 0.508 seconds

hive> show tables;

OK

auction

Time taken: 0.118 seconds

hive> desc auction;

OK

nid     int   

price   int   

Time taken: 0.177 seconds

hive>

7. 在第4步除了采用derby数据库来存元数据外,还可以采用mysql数据库。如果采用mysql库,需要把相应的jar包,如mysql-connector-java-5.1.11-bin.jar拷贝到$HIVE_HOME/lib/下

    采用mysql库的hive-site.xml配置如下

?

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

  <name>hive.metastore.local</name>

  <value>true</value>

</property>

<property>

  <name>javax.jdo.option.ConnectionURL</name>

  <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

</property>

<property>

  <name>javax.jdo.option.ConnectionDriverName</name>

  <value>com.mysql.jdbc.Driver</value>

</property>

<property>

  <name>javax.jdo.option.ConnectionUserName</name>

  <value>hive</value>

</property>

<property>

  <name>javax.jdo.option.ConnectionPassword</name>

  <value>hive</value>

</property>

<property>

  <name>datanucleus.fixedDatastore</name>

  <value>false</value>

</property>

</configuration>

   在mysql库中必须创建用户hive,密码也为hive。还要给hive用户赋予权限,否则会提示如下错误:

-bash-3.2$ ./hive

Hive history file=/home/admin/hive-log//hive_job_log_admin_201202211022_217216149.txt

hive> show tables;

FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user 'hive'@'localhost' to database 'hive'

NestedThrowables:

com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Access denied for user 'hive'@'localhost' to database 'hive'

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

hive>

     在mysql中创建hive用户,操作如下:

?

mysql> CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';         

Query OK, 0 rows affected (0.00 sec)

mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost' WITH GRANT OPTION;

Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

  可以用hive用户登录试验添加成功了没

?

-bash-3.2$ mysql -uhive -phive

Welcome to the MySQL monitor.  Commands end with ; or \g.

Your MySQL connection id is 317586

Server version: 5.0.77 Source distribution

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql>

  ok了.

8.  btw, 学习Hive的参考资料:

     恨少的hive学习小结

     淘宝数据平台Hive

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/码创造者/article/detail/790721
推荐阅读
相关标签
  

闽ICP备14008679号