启动hive报错_生产Spark+Hive会遇见的拦路虎

1.抛错: Unable to instantiate SparkSession with Hive support because Hive classes are not found.

需要先将hadoop的core-site.xml，hive的hive-site.xml拷贝到project中

1.1 测试代码

1.2 报错

1.3 查看源码

1.4 发现找不到HiveSessionStateBuilder

1.5 解决方法

将$HIVEHOME/lib下的spark-hive2.11-2.4.2.jar与spark-hive-thriftserver_2.11-2.4.2.jar添加到project中。

2.继续报错: java.lang.NoSuchFieldError: METASTORECLIENTSOCKET_LIFETIM

2.1 错误

2.2 查看源码

发现ConfVars中定义的变量并没有METASTORECLIENTSOCKET_LIFETIME，而HiveConf.java来自于hive-exec-1.1.0-cdh5.7.0.jar，即证明hive1.1.0中并没有假如该参数。

2.3 解决方法

3.继续报错: Could not connect to meta store

3.1 抛错

3.2 解决方法

这是因为远端没有启动hive造成的，启动hive时需要配置metastore。

$HIVE_HOME/bin/hive --service metastore &