当前位置:   article > 正文

Spark整合Hive报错:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient_如何解决启动sqark-sql时报错unable to instantiate org.apache

如何解决启动sqark-sql时报错unable to instantiate org.apache.hadoop.hive.ql.m

报错截图:

整合Hive过程:

hive版本:hive-1.1.0-cdh5.14.0                 spark版本:spark-2.0.2-bin-hadoop2.7

将hive的conf目录下的hive-site.xml配置文件拷贝到spark的conf目录下。

hive的元数据存储在远端的mysql上,所以需要将mysql-connector-java-5.1.38.jar添加到spark的jars中。

将hive-site.xml和mysql-connector-java-5.1.38.jar分别分发spark集群的其它机器上。

在spark的Master节点进入sparkSQL的shell交互窗口:

./spark-sql  --master  spark://node03:7077  --executor-memory 1g  --total-executor-cores 2

一运行就抛出一个上面的异常,网上给出的解决方案是版本问题,说是hive版本过高。

我的解决过程是,由于我的hive元数据是保存在远端的mysql上,所以需要启动hive服务:

nohup hive --service metastore > /dev/null 2>&1 &

启动hive元数据服务后,进入sparkSql的交互界面就正常了。

关于hive的元数据(metastore)配置方式可以参考另一片博文:https://blog.csdn.net/dufufd/article/details/78614958

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/正经夜光杯/article/detail/869734
推荐阅读
相关标签
  

闽ICP备14008679号