当前位置:   article > 正文

大数据平台搭建之hive_大数据离线计算框架搭建 hive搭建 标书

大数据离线计算框架搭建 hive搭建 标书

说明:

  1. 首先参看网页http://dblab.xmu.edu.cn/blog/hive-in-practice/进行搭建。

  2. 本文只是针对自己在参考该网页进行安装配置时出现的一些问题进行改正说明。

问题说明

  1. 需要开启hadoop后才可以运行hive命令,不然会提示无法连接到hadoop。

  2. 配置时,使用mysql存储元数据的方式,在配置hive-site.xml文件时,在原来的网页配置中有几个小问题。
    (1)原网页中的配置

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/usr/local/hive/warehouse</value>   
    <description>location of default database for the warehouse</description>
  </property>
<property>
    <name>javax.jdo.option.ConnectionURL</name>   <value>jdbc:mysql://localhost:3306/hive;createDatebaseIfNotExist=true</value>                           
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
<property> 
   <name>javax.jdo.option.ConnectionPassword </name> 
   <value>hive </value> 
</property> 
 <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>Username to use against metastore database</description>
   </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28

(2)问题1

<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/usr/local/hive/warehouse</value>   
    <description>location of default database for the warehouse</description>
  </property>
  • 1
  • 2
  • 3
  • 4
  • 5

这一部分配置应该去掉,因为这一部分是derby数据库需要的,mysql不需要。
(3)问题2

<property>
    <name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive;createDatebaseIfNotExist=true</value>                           
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  • 1
  • 2
  • 3
  • 4
  • 5

这部分配置中的value值有问题,其中的“;”应该改成“?”,而且createDatebaseIfNotExist单词写错了,应该是createDatabaseIfNotExist,所以正确的配置是:

<property>
    <name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>                           
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  • 1
  • 2
  • 3
  • 4
  • 5
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/800635
推荐阅读
相关标签
  

闽ICP备14008679号